李彪，字道固，顿丘卫国人，这是孝文帝赐给的名字。家庭贫寒，从小失去父亲，饱受贫困折磨。然而却胸怀大志，好学不倦。最初，受学于长乐的监伯阳，伯阳十分称赞他。后来与渔阳的高悦、北平的阳尼等人想一起隐居名山，没有实行。高悦的兄长高闾学问广博，才干突出，家里藏有很多图书典籍，李彪便到高悦家借阅，天天手抄口念，废寝忘餐。不久回到家乡。平原王陆睿年近二十岁，素怀大志。他娶东徐州刺史博陵人崔鉴的女儿为妻，迎亲路经冀州、相州，听到李彪的名字，专门去拜访他，两人举行了师友的礼节，为州郡的人们所称道。李彪便被举荐为孝廉，到京城入学馆受业。高闾称赞他不久即可贵显，李冲对他礼遇甚厚，李彪与他们关系十分密切。
孝文帝即位之初，任他为中书教学博士。后来又封为散骑常侍、卫国子，出使南齐。又任秘书丞，参与著作等事。自从文成帝以来到孝文帝太和年间，崔浩、高允撰写国史，编年序录采用了《春秋》的体例，遗落了许多重大的时事。李彪与秘书令高..上书，请求按司马迁、班固创立的史书体例，撰写分为纪、传、表、志等目。
李彪又写表陈述有关封赏的事情七条，其一说：
“古代圣哲的先王创立的制度，从天子到公卿，往下再到看门的和打更的，他们住的房子，坐的车子，穿的衣服，都有等级差别。地位低的不得超过地位高的，卑贱的不得超过高贵的。这样，才上下有序，人心稳定。现在的风气，人们竞相浮华，情志变化无常，大肆兴办耗费财力人力的事情。耗费财力的，如制造大批的绫罗绸缎和珍奇玩好；耗费人力的，如建造宫殿庙宇，并大加粉饰。这些妨害男子耕作女子纺织的事情，真是不胜枚举啊！汉文帝时，贾谊上疏，说当时朝政可令人长久叹息的事情有六，这便是其中之一呀。
“上边所喜好的，下边一定仿效。所以，越王好勇斗狠，而将士大多轻生敢死；楚王喜欢瘦子，而国内就有人挨饿减肥。现在，太上皇和皇上带头节俭，并下诏命官民都要勤劳。但是，百姓的奢华之风仍未变革，难道是楚国和越国的人就那样容易改变，我们魏国的人民就这样难以变化？这是因为朝廷的制度没有宣传，人们没有被感化所造成的。我认为住宅、车辆、服装，自百官以下到普通百姓，应该规定出等级式样。使高贵的不至于使用卑贱者的，卑贱者不至于违制使用高贵的，人人都不能任意奢侈，有违典章制度。”
其二说“：《易经》上称‘：掌管国家神器都不如天子的长子。’《左传》说‘：太子继承王位，庄稼就长得好。’然而，无人祭祀则皇室宗庙就没有供品，太子被废除国家的神器就无人可传。圣贤们知道这个道理，所以立下诰书作为世代遵奉的法典。过去周代的天子懂得这个道理，所以，推崇儒术以教育太子，太子因此养成美德，施行政治对于黎民百姓大有好处，所以世代拥有天下，前后历经八百年。到了嬴政当了秦国的皇帝，不用做人的正道教育他的儿子，他的儿子于是养成凶恶的品质，对待百姓肆虐横行，因而国运短暂，立国只有两代便被灭掉。灭亡与兴盛，其原因在于前代对后代如何教育。所以，《礼经》上说：‘太子出生后，要举行大礼，让人抱着他，有司的官员严肃端庄，在南郊拜见。’表明太子身份的重要，要被上天知道。‘经过宫阙就下车马步行，经过家庙就去叩拜’，这是申明孝敬尊长的道理。然而，古时候的太子，把自己看成是普通的子民百姓，所以，教育能稳固地在他身上施行。这是古代给我们留下的一面镜子呀。高宗文成皇帝，感叹幼年时老师对他不勤加教诲，曾对群臣们说：‘我刚开始读书时，年纪很小，不能专心。到称帝后，每天面临着繁重的政务，又无暇温习。现在想起来，如果不是我的过失，也是因为老师不勤勉教育。’尚书李讠斤赶快跪下来免冠谢罪。这是近代给我们提供的借鉴。
“太皇太后帮助高宗文成皇帝料理朝政，又将显祖献文皇帝培育成材。丰功伟绩远远地超过前代帝王。陛下您从小就蒙受她的教诲，您对她的尊敬也日益增加，到了太子出生后，您亲加抚育教导，日日检查，月月考课，实在劳心费神。今天，应该按照古制聘请老师，用以教导太子。教导正确太子就行为端正，太子端正就是皇家的福分，皇家有福则天下万民就享受太平。”
其三说：“《礼记》上说：国家没有三年的储蓄，就不能叫做国家。光武帝刘秀因一亩地不实在，就加罪于地方长官。圣人忧虑世事重视粮谷，是那样殷勤，不舍昼夜；开明的君主体恤百姓的生活，劝农耕桑，是这样热切。近年山东饥馑，去年京城歉收，百姓们纷纷出走逃向丰收地区。他们既荒废了所经营的产业，遭受疲劳饥饿的折磨，又使国体遭到损伤。如果先多积蓄些粮食，按人口发给他们，他们怎么会扶老携幼，流浪到千里之外逃荒要饭？拿今天的情况与古代相比，实在可怕呀。
“我认为应从州郡常年的租赋收入中拿出九分之二，京城每年费用开支的剩余部分，各立专门机构管理。丰年则鼓励百姓粜粮，积聚在官仓中；遇到荒年则加上二成利润，粜给百姓。这样，人们一定专心务农耕田以购买官府的布绢，又注重积存财物以买取官仓的粮食。丰年则积存，荒年则卖出。另外，设立管理农业的官员，从州郡人户中抽去十分之一作为屯户。根据水陆交通的便利情况，估计田亩的数量，把从犯人那里追赃，或出钱赎罪和其他收入中余剩的钱用来购买耕牛，租给屯户，令他们尽力耕种。一个农夫每年要求他交纳六十斛粮食，除了征收正课之外，再让他们服一定的杂役。做好这两件事，数年之内就会积存粮食，人民丰足，虽然遇到灾荒也不会受侵害。
“我又听说前代贤明的帝王都一定关怀远方的人才，礼贤下士，拔擢沉滞不起的英才。所以，汉高祖经过旧时的赵国，访求乐毅的后代；晋武帝拥有天下，却表彰吴、蜀之地的俊才。我认为应在黄河以南七州中选拔人才，让他们到京城中，按照中原官吏的标准，根据能力加以任用。这样，一可以表明我朝对新旧占领区的人才一视同仁，二可以怀柔长江、汉水一带士民百姓归顺我朝的感情。”
其四说：“汉朝制度，过去断狱决囚在冬季，至孝章皇帝时改在十月，用以孕育在地下萌动的万物。后来遇到旱灾，议论的人认为十月断狱，阴气微弱，阳气散泄，所以导致旱灾发生。朝廷将此事交给公卿讨论定夺。尚书陈宠说‘：冬至时阴气才萌发，所以，十一月有射干、芸、荔等草木初动，周代以这一天为春天的到来。十二月阳气向上涌动，所以，山鸡鸣叫，家鸡抱雏，殷代认为是春天的开始。十三月阳气已经降临，蛰伏在地下的虫子都已苏醒，夏代当作春天的到来。三个朝代把动植物的萌动现象，分别演化成人统、地统、天统三历。在三统一月处决囚犯，是不顺应天意的。’孝章帝同意他的意见，定在十月断狱。
“现在京城和各州郡断狱决囚，常常放在冬季，不根据《三统历》推算万物萌动发育的情况。对囚犯宽大赦免的情况，现在远超过了从前，按照典章法律的要求，则是很大的缺陷。今天这种做法，难道就是所谓的帮助阳气发生上升，对万物奉献一点仁爱之心吗？实在应该借鉴周代的典章，采纳汉代的规定，将全国断狱的时间定在初秋开始，初冬结束。不在《三统历》确定的春天施行斩首、绞死一类的刑罚。这样，道德就会施及人世和阴间，仁爱能够流传于后代。”
其五说“：古代的大臣有因为不廉洁坐罪被处罚的，不说他不廉洁，而说他盛食物的罐子不注意装了别人家的东西。这是国君对显贵大臣礼貌，不直接说明他的罪过。大臣犯了罪，则洗净官帽，帽缨上加剑，请求自杀，这表明大臣知道自己的罪过而不敢逃脱刑罚呀。我朝礼遇大臣，礼仪崇尚前代。自太和年以来，有犯罪当被砍头的，大多让他回家自尽。颁发命罪臣自裁的圣旨时，陛下您恻隐沉痛，言语悲切，热泪双垂，朝臣们有目共睹，天下士民有耳皆闻，实在能够感动将死者的心灵，慰勉罪臣亲友的感情。然而，只是恩泽发于您的内心，并没有成为永久的制度，所以我敢陈述自己的浅见。
“汉文帝时，有人告发丞相周勃谋反，朝廷将他关押在长安监狱中，对他的拷打羞辱与仆役一样。贾谊便上书，极力陈说君臣的大义，不应该这样对待周勃。对于朝廷重臣，天子应该为他改变自己一向严肃的表情，十分礼貌地接待他，下级官吏应该毕恭毕敬地敬重他。他有了罪过，可以免除官职，可以将他赐死，不应将他捆绑起来，送给司法部门鞭打他，让衙役辱骂他，更不应该让老百姓看到这种情形呀。行刑时，犯罪的大臣跪向北面，朝着宫庭的方向再次叩拜，然后自裁。天子则说：‘你们犯了罪啊，我待你们够有礼节了。’朝廷不用派人就将刑罚执行了。
孝文帝完全接受了他的意见，以后大臣犯罪，都让他自杀而不再受刑。到了孝武帝时，又恢复了下狱的做法。这是由于孝文帝只在自己在位时这样执行。并没有作为制度确定下来的缘故。”
其六说“：《孝经》称遵循父子之道是人的天性，这表明父子同体同气，可以永聚而不可以分离。犯了罪而不株连，是帝王的仁恩厚德。而有些没有感情的人，父兄被关押在监狱，子弟们却没有痛苦悲伤的表情；子弟受刑罚，父兄没有惭愧的容色。依然宴欢享乐，悠游自在。车马和过去一样豪华，衣冠和从前一样鲜艳。这难道是父子兄弟同体共气，安危与共，福祸同担的道理吗？我认为如果父兄犯了罪，应该让子弟穿着素淡的衣服，袒露着脊背，到宫门请罪；子弟如果犯罪，应该让父兄引咎自责，乞请将自己解押到司法部门问罪。如果职务重要，不适宜允许他到有司接受处罚的，可宽慰勉励，将他挽留。这样，足可以严厉地警醒浅薄的世风，使人们知道什么叫耻辱。”
其七说：“《周礼》上说：臣子家遇到大的丧事，君主三年内不派人到他家里呼唤他做事。这是圣人们根据人的感情制定的礼节，让孝子尽完自己对父母的哀悼之情。周代末年国家混乱，丧礼渐渐消亡，所以，只在腰里扎上丧带就算穿孝，戴上白帽子就算哀悼。到了暴虐的秦国，丧礼几乎全部泯灭了。汉代初年，屡次兴兵打仗，没有能够遵循古制。到宣帝时，人们如果是军屯户，遭到祖父祖母和父母的丧事，守孝不满三个月，都要服徭役。朝臣们的丧礼制度，没有具体规定。到后汉元初年间，大臣遇到父母去世这类重大的丧事，才能够离开官职度完丧期。到三国魏武和孙、刘时，每天战争不断，前代的礼制，又废而不行。晋朝时，鸿胪寺官员郑默失去亲人，坚决请求离任服完丧事，晋武帝被他的孝诚感动，便下令作为定制。
“我朝立国之初，拨乱反正，还没来得及建立守丧的制度。现在四方平静，百姓安居乐业，实在是孝慈之道被推广、礼教制度兴行的时候。然而，我所思虑的还没有完。朝臣们服完父母们的丧期，回朝任职，穿着华丽的衣服，坐着宽敞的车子，到郊庙祭祀；身上的玉器相撞，声音清脆；帽带飘逸，潇洒风流，就如同参加节日的庆典。这样作实在伤害了为人子的道德，亏损了天地的根本。我认为大臣们如有遭遇父母丧事的，都要服满丧期。如果有空缺的官职却因为这个人去守孝，无人能替补，则可以用特殊的诏书对他慰勉，让他回来继续任职。但只能在自己的官衙内活动，和进行一般性的交往，国家的吉庆大典，一概不让他参预。军事上出现紧急情况，穿着孝服从征，虽然与礼仪有碍，按道理应该这样啊！”
孝文帝看了他的奏章连连赞许，不久都被施行。
李彪渐被朝廷重视，孝文帝便下诏说“：李彪虽然不是出身于有名望的门第，上代也没有人在朝廷中做显官名宦可成为他的资本。然而，他性情严谨聪明，学识广博，遍读古代典籍，有刚强舌辩之才，很能被朝廷任用。做官行为优良，受到朝野的赞美，如果不奖赏他的功绩，怎么能激励勤奋而又有才于的人？特提升他为秘书令。”根据他参与制定律令的功劳，赐给帛五百匹、马一匹、牛两头。
这一年，他被封为员外散骑常侍的职务，朝廷派他出使南齐。南齐派主客郎刘绘接待，并摆设酒宴，备有音乐。李彪辞去了音乐。坐下后，李彪说：“刚才辞去音乐，请您体谅。我国皇帝孝性来自上天所赐，追慕过去冯太后的恩泽，所以最近进行有关丧礼的讨论。去年三月的最后一天，朝臣们才脱掉身上的孝服，但还都穿着素淡的衣服上朝。裴、谢二人在魏，也应该这样。现在辞去音乐，想您不会责怪。”刘绘问“：请问魏朝的丧礼究竟根据什么定的？”李彪答道“：高宗文成帝去世时，孝文帝才出生一个月。现在，圣上追忆冯太后对他养育的深恩，感激她教育训诫的厚德，为了深深报答，可以说十分懂得礼仪的变化。”刘绘又问：“如果想遵循古制，为什么不守完三年的孝期？”李彪回答说“：朝廷大事不能长时间无人处理，所以割舍对太皇太后的深情，屈从于群臣的建议。服丧的感情不异于三年，而不拘于时间的长短，难道算得上失礼？”刘绘说“：在这个乱世规矩太多了吧，何必专拿礼节来应酬人！”李彪说“：圣明的国家自然要定立旷古未有的制度，怎么能说是应酬人？”刘绘说：“朝廷百官都听宰相的，朝廷大事交给宰相就行了，何必忧虑无人管理？”李彪说：“五帝时臣子不如国君的能力强，所以国君亲自管理国家大事。三王时，君臣能力相等，所以共同管理国事。我们圣上亲自管理国事，他的能力可与轩辕和唐尧相比。”
李彪即将回北魏，齐主亲自对他说：“你前次出使齐国，回去时写诗说‘：但愿能长久得到闲暇，明年再来南朝游览。’果然这次你又来了。你这次回去，还会再来吗？”李彪答道：“请允许我重新赋诗‘：宴乐在这天宫般的都城，但此去就永远不能重来。’”齐主听了颇觉茫然，问“：说齐都如天宫一般可以，一去不再来是为了什么？看你这句诗，好像要成永别。这样，我应当用特殊的礼节为你送行。”齐主便亲自送他到琅笽城，登临山水，命群臣们写诗为他送别。南齐君臣对他如此看重。李彪前后六次奉命出使南齐，南人都很佩服他的诚恳和渊博。
后来，他任御史中尉，兼著作郎。李彪既然被孝文帝所信任，性格又刚直不阿，便对朝臣中违法行为多有弹劾，远远近近的臣僚都畏惧他，豪强们屏声敛气。孝文帝常亲昵地称他为“李生”，曾高兴地对群臣们说：“我有李生，就像汉武帝有汲黯。”他又任散骑常侍，兼御史中尉，解除了著作郎的职务。孝文帝在流化池宴请群臣，对仆射李冲说：“崔光的渊博，李彪的正直，是我朝得到的两个贤才。”
孝文帝亲自率军南征，李彪兼任度支尚书，与仆射李冲、任城王元澄等留在京城，参与料理朝廷大事。李彪生性刚直豪爽，与李冲等人意见往往不同，便露于形色，没有一点屈从的想法。李冲收集李彪过去的罪过，便禁止他在尚书省出入，又上表请求孝文帝免去李彪的所有职务，交给有司处理。
李冲又上表说：“我与李彪相识以来，已近二十年。李彪开始出使南齐时，我见他面色严肃，善于辞辩。我见识愚昧，认为他是出类拔萃的人才。等到他官位升迁，参与朝廷的重大活动，听说他评论今古，讨论人物，发言虽在群臣之后，但赞扬忠贞，崇尚正直，言辞恳切，出语坦诚，从不闪烁其辞。我虽然愚钝，也常常钦佩他的正直无私。等到他任职言官，志向坚定，行为果断，被他弹劾的人都应声而倒。赫赫雄威，震动四方；严肃刚直的称誉，传遍京城，天下人对他刮目相看，贪婪残暴都因此收敛。然而，也不断有人私下里对我说他过于威严暴烈，我认为忠贞耿直的言官，常为人忌恨；风行诽谤的时候，容易产生谣言。所以，对这些议论没有相信。
“过去因为河阳发生的事件，曾经与李彪在领军府同太尉、司空以及领军等人一起翻阅廷尉所讯问的囚犯的口供，发现不断有人诉说冤枉。太尉、司空和我想少许探听一下，话还没说完，李彪便大发脾气，坐在东面挽起衣袖挥动胳臂，口里喊着贼奴，怒斥左右的人，高声大叫着说‘：去御史台取我的刑具来，打断你们这些囚犯的肋骨！’虽然口中说这些话，终究没有派人去取。他随即又说：‘御史台所审问的犯人，惟恐宽纵得活，始终没有冤枉死的。’当时，大家认为被他所冤枉的情况太严重，有证据的很多，又想不要难为李彪，便都沉默不语。根据这件事，我便怀疑他审问案犯有不实之处，知道他的威风过甚，还想着案子中正确的多，枉滥的少，所以没有向朝廷奏报，实在有失做臣的应该知无不言的大义。
“自从去年大驾南征以来，李彪兼任尚书，我与他朝夕共事，才知道他言行暴戾，自以为是，好责人非，独断专行，横行无忌，惟我独尊，轻视别人。我与任城王在他面前委曲求全，他想办的事无不屈从。根据事实推断，前面讲的都得到验证。如果我所列举的得到证实，应该迅速将李彪送到北方严寒荒凉的地方去，以清除伪装的奸臣，防止他祸乱朝政；如果我列举的事情没有证据，可以把我流放在四周边境的任何一个地方，以止息像嗡嗡的青蝇那样的进馋小人颠倒黑白。”
孝文帝在悬瓠，看完表章惊叹道：“没想到他留在京城就这样啊！”有司判决李彪大辟罪，孝文帝饶恕了他，只是罢去了官职。
李彪不久回到故乡。孝文帝北巡至邺地，李彪穿着村野农夫的衣服，自称是草茅一样的贱臣，到邺城南面跪迎。孝文帝说“：我以为你已经死了。”李彪对答说“：孔子还活着，颜回怎敢死去？”孝文帝很高兴，因而对他说：“我期望你常以坚贞的青松激励自己的气节，在寒冷的冬天磨砺自己的意志，你应尽心尽力，报效国家。近日见到弹劾你的奏章，与我期望的相差甚远。你遭受这种处分，是因为我加予你的呢？还是因为宰相加给你的呢？还是因为你罪由自取？”李彪回答道“：我的罪过已经降临，完全是自己招致，实在不是陛下您加给我的罪名，也不是宰相无端给我捏造的罪状。我既然犯下这些罪恶，应该俯伏在东方的沼泽边上苟且生活，了此一生，不应再来到您的车驾前面。但是，承您不嫌弃，我敢冒惨死的危险来拜见您，不是为了谢罪而来的。”孝文帝说：“我想任用你，恐怕仆射李冲不同意。”孝文帝不久采纳宋弁的建议，准备重新起用李彪。适逢京城留台的表章到来，说李彪与御史贾尚审问被废太子元恂一案，颇有诬枉，请求将他关进监牢。李彪申辩自己冤枉，孝文帝也认为李彪没有这条罪状，派人去宽慰勉励他，并派牛车将他送到洛阳。遇到大赦，他得以免除刑罚。
宣武帝元恪称帝，李彪向王肃请托，又与朝臣郭祚、崔光、刘芳、甄琛、邢峦等书信往来，并写诗酬唱应和，互相推崇。因而，李彪请求朝廷给他恢复旧职，参与修史，王肃等人答应替他呼吁。李彪便上表说：
“我魏朝据有中华，已有一百多年，历经将近十位皇帝，史官们的叙写记录，没有表现出我朝的强盛。加上东观倾毁，册籍多有损失，前代的美德随着太阳一天天落下而消失，善政伴着月圆月缺渐渐淡薄。所以，有谚语说：一天不记录，所有的事情都会荡然无存。至于太和十一年(487)，先帝和先太后召请著名的学士和知识渊博、见识高远的人，以充作功臣庙麒麟阁的人选。其时，忘去我的短处，利用我的一片心志，让我出入各功臣府第采访他们的言行，又授给我秘书丞的职务，我担任这个职务，也无所辞让。高祖皇帝下诏对我说：平和你高雅的志向，端正你手中的笔管，写史而没有章法，后代人怎么去读它？我奉诏尽力而为，不敢忘掉高祖的教诲。
“孝文帝承受天地的重托，继承祖宗开创的基业，大功还未完全告成，就大驾崩殂。天下万民，有如失天坠地。幸赖陛下您体察先帝圣明睿智的真心，继承他养育万民的胸怀，行为正大光明，可以普照万物；处事宁静平和，可以通好各邦。上天因而气清，大地赖以平静，真可谓圣明无比，是万民之首啊。《礼记》上说‘：善于行路的，想让别人跟着他走；会唱歌的，希望别人跟着他唱。’所以《左传》说：‘文王奠定了周朝基业，周公完成了建周的大业。’然而，孝文帝卓越的才能，伟大的功勋，陛下您美好的道德，圣明的智慧，与古代相比，毫不逊色啊！时间却一年年过去，难道不应昭彰于世吗？
“我认为史官中杰出的人才，大的可与日月齐光，小的可与四时并茂，所以，他的声音能够流传无穷，他的思想能照耀后代。因而，金石有可能消失，而文章却不会泯灭的原因，就凭借书籍记载啊！谚语说‘：相门还会出相才，将门还会有将才。’不是因为性情的遗传，而是行为习惯的影响。我认为负责天文、历史的官员，如有合适的人才，应该让他们世守其业。
“我朝的史官，职位高贵，俸禄优厚，却成日优哉游哉，无所事事，是福禄使他们没有作为啊！历史之所以不能被弘扬，原因就在于此。已故的著作官员有渔阳的傅毗、北平的阳尼、河间的邢产、广平的宋弁、昌黎的韩显宗，都以才华优秀被举荐，在解释典章，记录事实上作出同等的贡献，因为任职时间不长，都没有做出杰出的成绩。前著作郎程灵箈与他们同时被举荐，共同负责记史写史的任务，现在也调任别的职务，官职却不是他应该从事的。只剩下著作郎崔光一人，虽然没有调任，然身兼两职，所以没有著作。
“我听说史书的繁兴，是由于国家的昌盛；《雅》、《颂》诗歌的出现，是由于统治者道德的完美。过去汉代的史官司马谈告诫他的儿子司马迁说‘：当世有美好的东西而不记载，是你做史官的过错呀。’所以，人们能长久地看到美好的东西。孔明在蜀国，不重视史官的作用，所以长时间受到舆论的讥刺。《书经》称‘不要使史官空缺’，《诗经》上说‘担任史官一职要忧患国家和人民。’我现在虽然没有担任这个职务，然而，过去曾任过著作郎，所以，不因自己目前处境低贱而自卑，敢于讲出以上这些话。人们常说：‘最堪忧虑的是在其位的人却不知道干什么，能干的人又不在其位。’我难道不了解这句话的含义，勉强非要再任史官的职务吗？我常常思念孝文帝给我赐名‘彪’的原因，远的把我比作写《汉书》的班彪，近的比成修撰《晋史》的绍统，根据名字探求实义，真使我欲罢不能。现在，我请求在京城中给我一处静谧的住所，整理国家的典籍，以实现我的宿愿。政府给我一定的人力物力，以满足我写史的需要。我虽然不能光大史书的著述，也不至于饱食终日。短则月内可以写就，长则三年就会有成效。史书的正本藏在麒麟阁，副本放在有名的藏书的地方。”
当时，司空北海王元详、尚书令王肃同意了他的要求。王肃因为他没有俸禄，经常赈济他，把他安排在秘书省，依照王隐的旧例，以平民的身份参与修史。
宣武帝亲自管理朝政，崔光上表说：“我过去被李彪举荐，与他共事多年。他的心志坚强，精力充沛，考证著述，不知疲倦。近来离开著述一事，多有荒废。最近又被起用，重新从事这一工作。他虽然年老，却更加奋发，写史的才识越来越新。如果恢复他的旧职，专门治史，毫不懈怠，一定能发扬《春秋》的治史精神，写成我朝的历史。既然先帝将重任委托给他，他又历任很高的官位，犯了微小的过失，一定能洗心革面。我认为应当任他为侍中，让他重新从事著述。”宣武帝没有同意，下诏命李彪为通直散骑常侍，负责汾州的管理事务。这不是李彪的生平所好，所以，他坚决请求，没有到任。后来，死在洛阳。
起初，李彪任御史中尉，被称为严厉残酷。他因为犯罪人的口供不好取得，就做了一种叫木手的刑具，击打犯人的肋部，因而，常常有许多人被打得多次昏死过去。朝廷曾派他去安抚汾州胡人的叛乱，抓住叛首后，他下令用鞭子抽他们的脸，以至活活打死。李彪有病，身上常常像长疮那样溃烂，疼痛异常。
李彪虽然与宋弁结下管仲、鲍叔牙那样深厚的友谊，宋弁任大中正，曾与孝文帝私议，仍将李彪流放到北部寒冷的地方，以处治他，一点也不想照顾他。李彪也知道这件事，但并不恼恨他。宋弁去世，李彪悲痛难忍，给他写悼文，极尽辛酸。郭祚在吏部任职，李彪想为儿子李志请求官职，郭祚只按旧家大族出身的子弟对待。李彪认为自己职位已至侍中，又兼任尚书，对郭祚说应该按无官职的王公贵族选拔李志，由于十分忿恨，所以怒形于色。人们都认为郭祚做的不对，郭祚常对别人说：“我与李彪是亲密的朋友，怎能不向着他，他又怎么能怨恨我呢？”任城王元澄原先与李彪关系不融洽。元澄到雍州任职，李彪找到他，请求让李志在他的王府中任幕僚。元澄很爽快地答应了，任李志为列曹，行参军的职务。当时，人们都称颂元澄。