李皋字子兰，少补左司御兵曹参军。
天宝十一年(752)袭封为曹王。他侍奉其母郑太妃以孝闻名。安禄山叛乱时，他侍奉母亲逃往民间，乘便跑到蜀郡，拜见玄宗，由都水使者迁任左领军将军。
肃宗上元初年因天旱歉收，李皋的俸禄不够养家，请求补任外地，没有得到批准。于是故犯轻法，被贬为温州长史，不久代管州事。该州发生饥荒，他拿出官仓粮食数十万石赈济灾民。僚属佐吏都登庭叩请他先报告朝廷，李皋说：“人一天不吃两顿饭就可能饿死，怎能等朝廷下令后再发放呢？如果杀了我而让众人得活，那么好处就太大了！”他将粮食发放后，便上表请罪，朝廷下诏表示宽免认可。李皋随即进职为少府监。当时殿中侍御史李钧与其弟京兆府法曹参军李锷求官成功，却不肯回到家里，其母穷得不能养活自己。李皋巡县见到她，感叹地说“：到家里就讲孝道，出门就尊敬兄长，还有余力就求学问道。能和这两人一道侍奉君主吗？”便提出弹劾，使他们受到终生禁锢的处分。召还进京后，还没朝见皇上，就上书谈治国之道，于是下诏授任衡州刺州。因被观察使诬枉弹劾，而被贬为潮州刺史。适逢杨炎从道州起用为宰相，知道李皋耿直，仍用他担任衡州刺史。这事发生之时，御史审查讯问，李皋怕母亲担忧，出门就穿囚服，回家就换常服，脸色言语一如平常。贬为潮州刺史时，就以调任相告，直至恢复原职，才将实情告诉母亲。
德宗建中元年(780)，晋升为湖南观察使。前任主帅辛京杲贪婪残暴，派武将王国良戍守武冈，靠他致富后，就弹劾他有死罪。王国良害怕，就占据武冈县城造反。辛京杲调集荆、黔、桂诸州兵马征讨他，两年都未攻下。李皋到任后，写信去说：“我看将军并非大逆不道之人，只不过逃避谗言以免死罪而已！将军遇到我，可以归降。我也受过京杲诬陷，所幸得到洗雪。怎能忍心动兵加害将军呢？如果不以为然，我将用破阵法破将军之阵，用攻城法杀进将军之城，结果就不是将军预料得到的了。”国良得信，又喜又怕，想趁此投降，又心怀疑虑。李皋当天单人独骑自称使者来到国良营垒前，贼军请使者入内，李皋便对其众喊道“：有认识曹王的吗？我就是曹王。我来接受国良投降，国良在哪里？”全军目瞪口呆，不敢妄动，国良出来迎拜，叩头请罪。李皋握着他的手约为兄弟，便烧尽攻守器械，遣散人马。朝廷下诏赦免其罪，还给他赐名“惟新”。
第二年，李皋扶着母亲的灵柩到达江陵。时逢梁崇义反叛，被朝廷夺情授职为左卫大将军，重任湖南观察使。李希烈反叛，他任江西节度使。受命之日，他未回家住宿，就前往豫章，对部将属官发布重要的命令说：“有功劳未能申述、有谋略得不到发挥的人，都可毛遂自荐。”从而选出裨将校官伊慎、李伯潜、刘..，都委任为大将。还提拔王锷为中军，任用马彝、许孟容为幕府。修造战舰，募集兵士二万，将其中二千五百人交付伊慎等人训练。自率五百人，用秦兵团力法加以训练，将赏罚联结在一起，松紧如一。于是约定用这五百人攻击伊慎之兵二千五百人，结果无人能阻挡其攻势。
便尽用其法训练新兵。起初，伊慎曾随从李希烈平定襄州，到这时，李希烈怕他被李皋重用，就行使反间计。德宗听信谗言，准备杀掉伊慎，李皋奏请赦免他，使他在军前效力。适逢贼兵夹江列阵，李皋勉励伊慎趁此立功，并把自己所乘马及兵器铠甲赐给他，让他充作先锋，斩贼兵首级数百，才免于此难。
贼兵在蔡山树起栅垒难以攻打，李皋扬言将西取蕲州，率领兵舰沿着江岸溯流而上。贼兵闻知，便留羸弱的兵士保护栅垒，其余兵马全都从江北向西开进，以抵挡李皋。当军队远离蔡山三百里时，李皋下令步兵全都上船，顺流而下，径攻蔡山，拿了下来，隔了一天，叛军救兵赶到，也被打得大败。随后攻取蕲州，招降其守将李良，接着平定黄州，兵威更盛。
适逢舒王就任兵马大元帅，任命李皋为前军兵马使。不久天子巡狩奉天，盐铁使包佶被陈少游困迫，便将运输船沿江而上，行至蕲口时，李希烈派杜少诚率领步骑三万准备截断江道。李皋派遣伊慎率兵七千人抵御于永安，把贼军赶跑。李皋因功晋升为工部尚书。德宗驻驾梁州时，李皋的贡品和资助源源不断。
因天子住在京外，他也不敢住进城中府第，便出屯于西塞山前大洲上，将郡县衙门迁往军中，设置市场。不久改任为户部尚书。他又派伊慎、王锷进攻安州，没有攻下，李希烈派刘戒虚率步骑八千援助安州，李皋命令李伯潜迎击于应山，俘获刘戒虚，于是攻下安州，杀掉伪刺史王嘉祥。李希烈另派兵援救随州，李皋在厉乡打败他们，趁势攻下平靖关与白雁关，贼兵于是不敢南下掠夺。后迁任荆南节度使，朝廷赐予实封三百户。他总共指挥大小战役三十二次，攻取州城五座、县城二十座，斩首三万三千级，生擒一万六千人，从未打过败仗。军队所行之处，不敢砍伐桑枣、践踏庄稼。朝廷全靠江淮一带供应粮食，而运粮的西路出九江，到达汉阳龟山，都与贼兵相接。李皋转战数千里，打通运粮的通道，江汉一带全靠李皋保持安定局面。淮西平定后，便奏请护丧返归东都，德宗派遣宦官前往赠送财物助葬。安葬完毕，他就进京朝见，随后还镇荆南。
起初，江陵县东北靠汉江处有古堤，年久失修，每年漫顶。李皋修复堤防堵塞缺口，获得堤内良田五千顷。还在江南废洲上修建房舍，建起两道桥梁跨越江面，自愿占田定居的流民就有两千多家。由荆州到乐乡二百里，其间集镇村庄共数十座，都不用井水，至李皋才命人凿井以方便百姓。贞元初年，吴少诚在蔡州独断专行，故调李皋镇守山南东道，划割随州、汝州以增补军需，练兵储粮，购买回鹘马以增加战骑，按时举行大规模畋猎以训练兵卒。吴少诚很怕他。
李皋性爱勤俭，能了解人民的疾苦。
他考察听取各方隐情，尽知下属长短之处，赏罚都能兑现。所到之处常常平抑物价，不让富豪独占其利。他教工匠建造战船，夹船安上两只轮子来踩动它，鼓水疾进，驶行超过战马。有所造作，都考虑用料省而好处多。送人以物，必定亲自察看多少，府库布帛全都盖上大印，以杜绝官吏的欺瞒。扶风人马彝未知名时，李皋就发现了他，结果他以正直见称。张柬之在襄阳有处园圃，李皋曾宴请属官，准备把它买过来。马彝说：“汉阳郡公有中兴本朝之功，现在的遗产应当百世共保，怎能让其子孙卖掉呢？”李皋认错说：“主管官员说错了话，使先生感到羞愧。如不是先生我怎能听到这话？”去世时年六十岁，追赠尚书右仆射，谥为“成”。
李皋曾创造过一种欹器，用漆过的木头上端做五道棱角，下端尖而圆，像盂的形状，可容水八升，水少则势弱，水多则势强，水适中则其器受力均衡，即使摇动它，也不会翻转过来。