张芹，字文林，峡江人。弘治十五年(1502)进士。授福州推官。正德年期间，召封为南京御史。
宁夏平定以后，大学士李东阳也晋官荫子。张芹抗疏说：“李东阳谨厚有余，正直不足；儒雅足重，节义无闻。逆贼刘瑾乱政，李东阳作为顾命大臣，既不能在开始时将他遏止，等到恶迹显露出来，又不能竭力与他抗争。圆滑顺从，任其指使。现在叛贼被平定，李东阳出了什么力？冒功受赏，用什么来服众人之心？乞求皇上立即将他罢斥，剥去加在他身上的恩赐，作为大臣事君不忠的警戒。”疏章出来，李东阳涕泣不能辩解。皇帝谴责张芹沽名钓誉，命令他自诉情状。张芹请罪，被停俸三个月。
给事中窦明因言事被下狱，张芹上疏营救他。皇帝曾跑马受伤，编修王思真切上谏，被问罪戍远边。张芹说：“他不是谏官尚且如此，我等能坐视吗？”于是上疏说：“孟子说‘逐兽无厌谓之荒’。老聃说‘驰骋田猎，使人心发狂’。心狂志荒，什么事不忘记？他们都特别说的是这些事有害无益。现在皇上看轻万乘之尊，乘危冒险，万一有什么意外，连皇子还未诞生，宗庙社稷怎么办？”皇帝不检查自己。
不久他出任徽州知府。宁王宸濠造反，有人上书说张芹的家在江西，如果叛贼劫拿他的亲属，取道离开徽州怎么办？于是改任杭州知府。之后，又回到徽州。嘉靖初年，迁浙江海道副使。历右参政、右布政使。后因在海道做官时倭人争贡误伤居民之罪，被罢官回到家乡。
张芹侍奉继母，讲求孝道，持身节俭朴素，麻袍粗食地安度余生。