李林甫，是长平肃王叔良的曾孙。
最初任千牛直长，舅舅姜皎很喜欢他。
开元初年升任太子中允。源乾曜执政，与姜皎是姻亲，乾曜的儿子源挈为李林甫求官司门郎中，乾曜一向看不起他，说“：郎官应有才干和声望，哥奴哪里是任郎中的材料呢？”哥奴，是李林甫的小名。乃任他为谕德，逐步升到国子司业。
宇文融为御史中丞时，引李林甫与之同列，渐渐历任刑、吏部侍郎。当初，吏部置长都要列名榜示，以定留放，宁王心中有十人希望能入选，李林甫说：“希望能黜一人以表示公正。”于是在一个人名旁注“：恐与王嘱有连，宜放冬集。”
当时武惠妃专宠，儿子寿王、盛王尤得玄宗宠爱。李林甫借中人高力士告知惠妃，愿保护寿王为万岁，于是惠妃对他感恩。侍中裴光庭的夫人，是武三思的女儿，与李林甫有私情，高力士本是出自武三思家的。至裴光庭死，武氏就请高力士推荐李林甫代为相。高力士因相位重大，未敢说话。皇帝此时正因中书令萧嵩的举荐，任用了韩休，正要写诏令，武氏告诉林甫，要他去为韩休请官。韩休任宰相后，很感激林甫而与萧嵩有了疙瘩。于是推荐林甫有宰相之才，惠妃也暗中撺掇，皇帝竟提拔林甫为黄门侍郎，不久又任礼部尚书、同中书门下三品，再进为兵部尚书。
皇太子、鄂王、光王被诬陷，皇帝欲废太子另立，张九龄恳切劝谏，皇帝不高兴，李林甫当面不说什么，退朝后却私下里与中人说：“天子的家事，外人干预个啥。”开元二十四年(736)，皇帝在东都洛阳，想回长安。裴耀卿等人建议：“农民们秋收事还未结束，待到冬天农闲再回最好。”李林甫假装跛着脚，一个人走在最后，皇帝问他脚怎么啦，他说“：我不是腿有病，而是想奏件事。两个都城本来就是帝王的东西宫，车驾要到哪一处去，何需等待什么时机？即使有妨农事，赦免所过地方的租赋不就行了。”皇帝十分高兴，即刻车驾西行。当初，张九龄由于文章写得好而进官，为相时坚守正直持重的作风，而李林甫则是由于会拍马屁得任大官，故而非常嫉恨张九龄，私下里进谗陷害。皇帝想赏朔方节度使牛仙客实封，张九龄对李林甫说：“封赏是为了奖励名臣的大功，边将要第一功的，怎可匆忙决定，我将与你争辩。”李林甫同意在廷前各抒己见，及至进见时，张九龄多方说明不可封，而李林甫则默不发言，退朝后又在背后说东道西。牛仙客第二天来见皇帝，哭着辞谢请不加封，皇帝就更加想赏仙客了。张九龄坚持不可，李林甫对别人说：“天子用人，有什么行不行的。”皇帝听说后，很喜欢李林甫的不坚持己见。由此更加疏远张九龄了。不久，张九龄和裴耀卿都罢了宰相职，而专任用李林甫、牛仙客了。当初，三位宰相就位时，两人弯腰疾趋，而林甫在中间昂首阔步毫无谦让之意，春风得意的样子流溢在眉宇之间，观看的人偷偷议论：“一雕挟两兔。”不久，诏书下来，裴耀卿、张九龄左右丞相被免官，李林甫幸灾乐祸嘲笑说“：你们还当左右丞相吗？”眼里露着阴险而送。其他公卿见了都为之战栗。此时，李林甫进兼中书令。皇帝到底听了李林甫的话，杀了太子瑛、鄂王瑶、光王琚三个亲生儿子，天下人均觉得三人死得冤。大理卿徐峤居然胡说什么“：历来大理狱杀气盛，鸟雀不敢栖息。
如今刑部断狱，死罪的一年才五十八人，乌鹊都在狱户上做窝了，死刑几乎弃置了。”群臣祝贺皇帝，皇帝又说这是大臣的功劳，于是封李林甫晋国公，封牛仙客豳国公。
皇帝将要重立太子了，李林甫探得皇帝的心思，就多次称道寿王。皇帝对此秘而不传，皇帝心中属意忠王，终于，寿王未能立。太子已定，李林甫一则恨自己的谋划未能得逞，再则也从此事悟出自己恐会有祸，于是表面上与韦坚亲善。韦坚，是太子妃的哥哥，让他任要职，准备扳倒他家以动摇东宫的地位。
于是设计使韦坚犯罪入狱，太子上表请求与韦妃离婚以示与韦坚绝无往来。李林甫的计谋未达目的。杜良娣之父杜有邻与女婿柳责力彼此看不惯。柳责力生性疏狂浮躁，想帮助李林甫动摇太子，竟诬告杜有邻妄图有变，将杜有邻逮捕，诏令审讯，最后赐死。为此案牵连到裴敦复、李邕等人，都是李林甫平日嫉恨不喜欢的人，一起株连杀掉。太子亦贬杜有邻的女儿杜良娣为庶人赶出东宫。不久，又唆使济阳别驾魏林，诬告河西节度使王忠嗣密谋兴兵拥立太子。皇帝不相信，但仍将王忠嗣贬谪出京。李林甫告诉皇帝“：太子一定知道他的阴谋。”皇帝说：“我的儿子一向处于深宫，怎会与外人通谋？这一定是有人故意诬陷。”李林甫多次陷害太子，都没有成功。一天故作从容地说“：古代立储君，必先着重贤德，若不是对国家宗稷有极大功劳的，那谁也比不上嫡长子。”皇帝沉吟半天才说“：庆王往年狩猎，脸被豸内伤得厉害。”李林甫答“：破了脸不是比破国强些吗？”皇帝颇受惑，说：“待我慢慢想想。”不过太子一直以谨慎孝顺闻名，内外都没有坏名，所以谣言飞语不能侵害他，皇帝也无理由猜疑他。
李林甫善于刺探皇帝的心意。那时，皇帝年事已高，亲自听事做决断渐渐倦怠，不大耐烦以法规来检校事理，却重视接对大臣，有了李林甫任宰相后，对他十分信任，毫不猜疑。李林甫又善于培养皇帝的个人欲望。从此皇帝安居在深宫，沉溺在歌舞声色之中。君王之德被遗忘了，李林甫每有奏请，一定先贿赂左右，窥视各种动静，设法巩固皇帝的恩宠和信任。即使是厨夫御婢也都得到他的厚赏，所以天子有些微动静林甫全都知晓。他生性阴险，工于心计，杀人残忍，但喜怒均不形于色，脸上总是很柔和地微笑，初看上去和蔼可亲，相处的时间长了，就觉城府深阻，终究掌握不了他的心思。公卿如果不是由他荐举而得官的，一定会获罪遭贬；依附他的，即使是无识小人，也必引荐为重臣。与他同时为宰相的，如张九龄、李适之等人，后来都遭逐斥；甚至杨慎矜、张蠧、卢幼临、柳升等几百人都被牵连，相继被杀。李林甫以王妒、吉温、罗希..为爪牙，多次制造大案。官吏缙绅均惴惴不安，屏息不敢动。
李适之的儿子李雨言曾设盛筵招待宾客，但终一天都没一个人敢去。李林甫有个堂形状像半弦月，称之为“月堂”。每遇到想排挤诬陷哪个大臣了，就住到那里，思考设计如何中伤人家。假若他高兴地出堂来，那个人就要家破人亡了。其子李岫任将作监，见父亲权势熏天灼人，悚然而惊心，曾随从父亲游后园，看见一挽重车的人，就跪着流泪对父亲说：“大人长久以来位居宰相，树敌甚多，以致前途满是荆棘，哪一天祸事临头，想与这个人一样恐怕还不能呢。”林甫听了很不高兴，说：“形势已然如此，又有什么办法？”
那时，皇帝诏令天下士有一艺之长的都到京师来备选，李林甫担心士人面对皇帝谈话时，会有人责斥自己，就建议说“：这些士人都是些草野之人，不懂宫禁，只会胡言乱语来烦扰陛下，请将这些人都交给尚书省长官去考察询问。”接着又派御史中丞主持监督，结果没一个人能入选。林甫还就此向皇帝庆贺，表示没有一个有才干的人遗落在外。不久林甫又兼任陇右、河西节度使。又改任右相，免节度，加官开府仪同三司，实封三百户。
咸宁太守赵奉璋收集了李林甫所干坏事二十条，准备揭发。林甫暗示御史将赵奉璋治罪，检举他妖言惑众，罪当死。著作郎韦子春也因与赵奉璋友善而牵连遭贬。皇帝曾在勤政殿大陈乐舞，结束后，兵部侍郎卢绚乘马横道而去，皇帝见他温雅有英气，赞美了几句。第二天，林甫将卢绚的儿子召来，对他说“：你父亲一向声望很高。现在皇帝想让他到交、广去任职，如果觉那里荒凉艰苦不想去的话，可以现在就告老请求退休。”卢绚很害怕，听从林甫的话，后来贬出京都任华州刺史，不久，任他为太子员外詹事，卢绚由此不被任用。当时有些人因才能或好声誉闻名的，李林甫妒在前，故都会受到天子的冷落或疏远，所以李林甫在位时恩宠无人可比。凡是御府所贡献的远方珍奇美味，均要使者转赐给他，皇帝吃到什么美味，也一定赐给他一些。
曾经诏令百官在尚书省检阅一年来所得之贡物，参观完后，把所有贡物都赐给他，还让车辇将东西送到他家。李林甫随皇帝去华清宫，赐给御马，还有武士一百人、女乐两部。薛王的别墅其胜景秀丽在京师要数第一，也赐给林甫，其他的宅第、田园、水磨等都是最好的、最肥腴的、最便捷的。李林甫的车马衣服极其奢侈靡丽，他尤其喜欢声伎，侍姬满宅，男女各有五十人，以往的规矩，宰相都是有极大功劳、极高品德的人。从不考虑什么权威，出入时的随从都很少，普通士人百姓见了也不需要回避。李林甫自己知道与许多人结了怨仇，深怕突然冒出个刺客。所以他出入时，用很多骑兵卫士，先行一百步，喝道护卫，再有金吾为之赶人清道，即使公卿也要赶快退避让路。住的地方，重重门关，间间有复壁，还有版石机关，一个晚上要搬两次，即使家人也不知他此刻在何处。有时皇帝不上朝，各司的要官都要到他门上来请示，台、省都因之而空。左相陈希烈虽然在省府办公，但无人去见他。
李林甫没什么学问，说起话来俚俗浅薄，听到的人往往在背后耻笑。他看中了苑咸、郭慎微，让他们主管书记。他们精熟文法，所用之人若不是谄附的一律用格令来衡量，所以小小纲目没有乱离谱，而人们都害怕他的威严权势。后来，林甫又兼安西大都护、朔方节度使。
不久又兼任单于副大都护，后因朔方副使李献忠反叛，让还节度之职。
当初，李林甫厚待王钅共，王钅共也为他尽力。后来王钅共出事了，诏令宰相审讯，林甫十分害怕，不敢见钅共，案件审讯结果送上来，也没有为之申辩救援。后来就让杨国忠代为御史大夫，李林甫瞧不起杨国忠，所以无所畏惧，只因贵妃的缘故与杨国忠亲善。及至杨国忠权势日盛，地位之显赫，天下侧目，这才与他合不来且势如仇敌。那时，杨国忠正兼任剑南节度使，而南蛮入侵，李林甫趁机建议要杨国忠到剑南镇守，好让杨国忠离开京都。国忠无奈，入朝向皇帝告辞，皇帝安慰说“：你去那里，待你处置军事完毕，我就召你回京的。”李林甫得知后既忧且恨。这时李林甫已有病在身，加上这事，病日渐沉重。此时皇帝赴温泉，诏令车马载林甫同行，御医诊治，珍膳调养，皇帝不时存问，中官照顾起居，真是无微不至。病危了，巫者看了病后说：“见天子一面将有起色。”皇帝想再见林甫，左右劝阻。于是诏令李林甫走出廷来，皇帝登上降圣阁，手举红巾对林甫挥招。林甫已不能起身了，左右代为拜谢。不久，杨国忠从四川回来，即到林甫家，谒拜床下。林甫流泪托付后事，最后因不能进食而死。他的儿子们将灵柩护送回京发丧，追赠太尉、扬州大都督。
李林甫居宰相位共十九年，邀宠揽权，欺瞒天子的耳目，谏官们都居其位而养其资，没有一个敢主持正义的，补阙杜..两次上书议论政事，结果被斥为下圭阝县令。李林甫借此事说给其他的人听：“明主在上，我们当臣子的顺着皇帝的心意还来不及，还要议论些什么？你们难道没看见立仗马(在仪仗队里的马)？整天默不做声，能得到三品的饲料；若一声嘶鸣，马上就逐出队伍。以后即使想不叫了，还能有机会吗？”从此，谏争之路断绝。
贞观以来，蕃人而任将职的如阿史那社人小、契必艹何力，都极忠心效力，但总不能当上将，皆由大臣控制，所以上面还有余权可以节制下属。先天、开元年间，大臣中如薛讷、郭元振、张嘉贞、王..、张说、萧嵩、杜暹、李适之等人，都是从节度使而升为宰相的。李林甫嫉恨儒臣因筹划方略而得靖边的功劳，又得高位，因而想杜绝这一条升官接近皇帝的路，好巩固自己的权势，于是劝说皇帝：“以您陛下的雄才大略，国家富强，而夷狄竟然未能剿灭的原因，都是由文官为将，他们不敢冒矢石而身先士卒。不如任用蕃将，他们出生于雄健的父母，哺养在马背上，成长在行阵中，天性骁勇。假若陛下能感化他们而任用之，他们定能效死，夷狄就不愁不能剿灭了。”皇帝很同意他的说法，因而让安思顺代替李林甫统领节度，提升安禄山、高仙芝、哥舒翰等专为大将。林甫看中了这些人都不是汉人，没有入朝当宰相的资格，因此之故安禄山能专控三个道的劲兵，十四年不迁动。
天子很满意李林甫的策略，安然不疑，终究让安禄山统兵动乱天下，使王室从此衰微。
起先，李林甫曾梦见一个人白白的而有胡须，逼他退位。醒后就到处寻找梦中的人，发现裴宽很像，心中念叨“：裴宽想取代我。”于是借与李适之一党将裴宽赶出京都。后来杨国忠代李林甫为宰相，据说杨国忠的样子极像裴宽。杨国忠一向心里仇视李林甫，李林甫死尚未入葬时，杨国忠就暗示安禄山揭发李林甫，安禄山就要阿布思的降将入朝，告发李林甫曾与阿布思约为父子，准备叛乱。
于是把这事交给有司查核，林甫的女婿杨齐宣害怕连坐，乃胡说什么李林甫祭神诅咒皇帝，杨国忠又检举林甫种种恶行。皇帝怒，下诏说李林甫滥祀餍人，勾结叛虏，图谋危害社稷。着令剥夺他所有官职爵位，斫开棺材，脱去身上的金紫官服，取出口中所含珍珠，改用薄棺，用庶人的规则落葬；他的儿子司储郎中李萫、太常少卿李屿及李岫等人均迁往岭南、黔中，各人给奴婢三人，家产抄没；女婿们如张博济、郑平、杜位、元扌为及亲属子弟在官者李复、李道、李光等人一并贬官。
张博济也是个奸佞自肆的人，曾任户部郎中，户部有考堂，天下一年的会计均在此处。张博济被废为员外郎中听事，别取都水监地为考堂，擅自取用诸州上缴的钱很不少，有司不敢声张。
皇帝至蜀，给事中裴士淹因辩才博学而得重视。那时，肃宗在凤翔，每任命宰相都要启禀太上皇。肃宗任房..为将，太上皇评论说：“他不是个能破贼兵的人，假如姚元崇还在，这些贼人全不在话下。”选拔宋瞡，太上皇说：“他只是靠耿直取得声望罢了。”前后评论了十多人，都十分准确精当。及至评论到李林甫，太上皇说：“这家伙嫉贤妒能，荐举的人都是比他更下的人。”裴士淹接着问：“陛下全然知道，但为什么任用他这么久呢？”太上皇默然不答。
肃宗至德年间，两京的变乱平定，大赦，惟有安禄山支党及李林甫、杨国忠、王钅共的子孙不赦。天宝时，曾用玉雕刻了玄元皇帝及玄宗、肃宗的像放在太清宫，后来又雕了李林甫、陈希烈的像排列左右。代宗时，有人说：“李林甫阴险，曾经不利于先帝，宗庙几乎被毁，为什么把他的像留到今天？”代宗下诏埋掉。到僖宗广明初年，卢携任太清宫使，挖地挖出了李林甫的像，送到京师后毁掉。