徐勉字修仁，东海郯县人。祖父名长宗，宋高祖霸府行参军，父亲名融，南昌相。
徐勉父亲早死，家庭贫寒，从小便磨砺出坚强的意志和清高的气节。六岁那年，连绵大雨不停，家人祈求雨停天晴，徐勉写了一篇文章，受到年高而有道德学问的人称赞。长大后专心好学。刚入官场时为国子生。太尉文宪公王俭当时任国子监祭酒，时常称徐勉有宰相辅国的能力。射策中举，补任酉陽王国侍郎。不久迁任太学博士、镇军参军、尚书殿中郎，后因公事免官。又任中兵郎、领军长史。琅笽的王元长才气和名声很高，曾想结识徐勉，时常托人去请他。徐勉对人说：“王元长名气大声望高，很难收敛锋芒。”不久王元长遭祸殃，当时人没有不信服徐勉的机警与远见。
起初徐勉同长沙宣武王交往时，高祖很器重欣赏他。起义军到京城时，徐勉在新林谒见高祖，礼遇很高，让他管理书记事务。高祖即帝位，拜任中书侍郎，迁建威将军、后军咨议参军、本邑中正、尚书左丞。掌握大权和王法，举荐、纠弹不少人，当时评论他很称职。
天监二年(503)，任给事黄门侍郎、尚书吏部郎，参掌选考举人。迁侍中。当时王朝军队北伐，烽火台战报不停。徐勉掌管军事情报，日夜不停地工作，时常几个月才回家一次。每次回家时，一大群狗都警惕地对他狂叫。徐勉感叹地说：“我忧国忘家，才造成这个样子。我死了以后，也是传记中的一件事迹。”六年(507)，任给事中、五兵尚书，迁吏部尚书。徐勉任主考官，伦理关系井然，既会写文章，又很有口才，虽文件堆满办公桌，且有很多客人，应对如流，手里还挥笔不停。他还能公平对待各家各姓，不偏爱袒护任何人。时常同学生夜间集会，有位叫虞皓的客人恳求担任詹事五官，徐勉很严肃地说：“今晚只能谈论风和月，不便谈公事。”所以当时人都信服他大公无私。
后又任他为散骑常侍、游击将军，没有正式封授，改任太子右卫率。迁左卫将军、太子中庶子，服侍太子。昭明太子还很小，诏令徐勉管理东宫事务。太子对他很尊重，遇事即向他请教征询。太子曾在殿内讲解《孝经》，临川靖惠王、尚书令沈约任太傅、少傅，徐勉和国子监祭酒为执经，王莹、张稷、柳忄登、王..为侍讲。当时人对他的评价很好，徐勉多次推谢。又写信给沈约，请求换任太子侍读，皇帝不同意，然后才就任执经。转任太子詹事、云骑将军。不久又加封散骑常侍，迁尚书右仆射，仍保留太子詹事职务。又改任侍中，多次请求解除宫中职务，皇帝下诏书劝慰他，并不同意辞职。
当时人们办理丧事，多不遵守礼制，早晨死去傍晚就殡葬，以快速为时尚。徐勉上奏说：“《礼记137·翔。损害人情天理没有比这更严重的了。况且孝子死去亲人时，心情很悲痛，丧事多由他人办理，爱与憎在其间谁占主要很难说得清，如果察看时有疏忽，本来没有死却认为死了，即使是万分之一的概率，也会让人十分怨恨，感到残酷，不如过一天再装殓，满足孝子盼亲人返生的希望。请求从今后士人百姓，全都依照古代礼制，死后三天才装棺。如有不遵循，严加惩处。”皇帝下诏同意了他的奏疏。
不久授任宣惠将军，并设置佐史，仍保留原任的侍中、仆射职位。又加任尚书仆射、中卫将军。徐勉因为旧时的恩情，破格提升为重臣，对皇上尽心尽力。只要知道的事情便全力去作。从选辟的小职到现在的高位，时常担任选拔人才的官职，很受士人的欢迎。皇室及官府中的事情从来不向外透漏消息。每次上书反映情况总是把草稿烧掉。通晓书经史迹，朝廷礼仪、国家典章、婚礼、冠礼、吉礼、凶礼，徐勉皆参与策划制定。普通六年(525)，上书奏请制定五礼说：
“臣听说‘陰与陽是天运行的规则，仁与义是人发展的规则’，所以说‘用道德来引导，用礼仪来规范’。礼仪能够安定君位、治理民众、弘扬淳风、革除陋俗、治理国家、教育后人。虽说经礼三百，曲礼三千，经文三百，威仪三千，但大体可分为五类，就是宗伯所掌管的典礼：吉礼、凶礼、宾礼、军礼、嘉礼。所以祭祀不按礼制就不庄严肃穆；丧葬不按礼制，违背死者意愿，不顾活人想法的人就会增多；冠礼婚礼不按礼制，男女就会错过人生的时序；接待客人不按礼制，则朝拜便失去威仪；军队不按礼制，部队的纪律就会混乱。治国修身，礼的关系都很大。
“自周朝灭亡后，王道衰落、礼仪斯文秩序大乱，礼乐征伐由诸侯决定，《小雅》被废，旧的礼乐制度缺失。所以韩宣到鲁国，学习周公的德政；叔侯在晋国，辨识郊祭的仪节。战国时期相互交战，礼教更是衰落。暴秦焚书坑儒，礼仪制度差不多废除干净。汉朝刚建立时百废待兴，还让叔孙通在野外演习朝廷礼仪，才知道帝王的尊贵。汉朝以后，战乱不停，礼制有增有减，有的凭武功横行天下，有的喜欢黄老的学说，礼仪的具体规定没有发展。到东汉时曹褒，在南宫整理礼书共一百多篇，虽说写在竹简上，但没有上奏。此后战乱不停，文章散失。规章制度、礼仪文书在战乱中遭到破坏。到晋朝制定新的礼制，先有荀觊，又有挚虞从事这方面的工作。后来晋朝灭亡，礼仪制度传下来的很少。东晋创立，沿用而已，无力整肃民风。
“陛下英明，建立梁朝，拨乱靠武力，治国靠文治，功成后就要作乐，业就后就要制礼。
“自齐永明三年(485)开始修定五礼，太子步兵校尉伏曼容上书请求制定一代的礼乐制度，当时参与这一活动的有前后两朝的学士十人，专门修订五礼，咨询禀告将军丹陽尹王俭，学士也住在郡中，经过好几年，也未完成。文宪死后，有关礼文散失，后又将此事交付国子监祭酒何胤，九年过去了，仍然没有完成。建武四年(497)，何胤回到东山，齐明帝又将此事委托给尚书令徐孝嗣，永元年间，徐孝嗣又因此遭祸，文稿散失不少，当时又将收集的文稿，暂且交给尚书左丞蔡仲熊、骁骑将军何佟之，共同负责此事。当时修礼的人住在国子学中门外，东昏一朝，战火不断，礼书文稿又散失一大半。天监元年(502)，何佟之上书讲明设置损减的原则，皇帝下令让他仔细编订，并让大臣商议。当时尚书认为，朝政刚立，国家还不太平，等安定以后，再来修订，想暂且省削礼局。皇帝下诏说：‘礼乐制度被破坏，使得国家、个人行事不统一，应该按实际情况修定，作为标准，但过去修撰时按私情选定人员不按学识，只凭贵人的意愿不参照古人，所以多年不能完成，有名无实。礼制既然是治国的前提，你们可以挑选人选，人员定下后，就可编撰。’于是尚书仆射沈约等人建议，请求五礼分别设旧学士一人，每人分别推荐学士二人，相互帮助，抄录撰写。对有疑问的条目，按照前汉石渠阁、后汉白虎通两个文本追根求源进行决断。于是让旧学士右军记室参军明山宾负责吉礼，中军骑兵参军严植之负责凶礼，中军田曹行参军兼太常丞贺王易负责宾礼，征虏记室参军陆琏负责军礼，右军参军司马..负责嘉礼，尚书左丞何佟之总负责。何佟之死后，镇北咨议参军伏日恒代替他。后来又让伏日恒代替严植之负责凶礼。不久伏日恒升官，让五经博士缪昭负责凶礼。又因为礼仪深奥广博，记载不全，为了集思广益，共同讨论，又让镇北将军丹陽尹沈约、太常卿张充和我三人共同负责此事。后来我又接到皇帝的诏令，全盘负责五礼修撰。最后又让中书侍郎周舍、庾於陵二人参知此事。若有不清楚的地方，分管各礼的学士应先提出看法，咨询五礼旧学士和参知，各抒己见，相互启发，最后决定。可疑的条目一多，花的时间就长，新意不少，没有哪一个判断不是引经据典，条理清晰，分析入微，以前的学者所没有解释，后来的学者从未听说过。所有的奏书、裁决都记在篇目前。
“五礼之中繁简不同，所以不能同时完成。《嘉礼仪注》在天监六年(507)五月七日交尚书，共十二秩，一百一十六卷，五百三十六条；《宾礼仪注》在天监六年(507)五月二十日交给尚书，共十七秩，一百三十三卷，五百四十五条；《军礼仪注》在天监九年(510)十月二十九日上交尚书，共十八秩，一百八十九卷，二百四十条；《吉礼仪注》在天监十一年(512)十一月十日上交尚书，共二十六秩，二百二十四卷，一千零五条；《凶礼仪注》在天监十一年十一月七日上交尚书，共四十七秩，五百一十四卷，五千六百九十三条：总计一百二十秩，一千一百七十六卷，八千零一十九条。又列副秘阁和《五经》和一本，誊写校定，到普通五年(524)二月才最后完成。
“我认为编撰礼制，好几朝代都未能完成，皇上鸿运才最后完成。周代礼仪三千条，还包括虚数在内；现今礼仪八千条，具体事例附载其后。由简单的文字加以修饰性语言，所以其数量超过一倍，就好像八卦的爻一样，相互交叉构成六十四种卦象。周朝文王、武王就是通过礼仪来统领天下，规范朝政，周公旦在前人的基础上加以修订，使天下呈现龙凤太平的祥瑞之兆。自此之后，过了很长时间。孔子说：‘谁能继承周朝，虽百世也能传名。’这不就是说可以齐功比美吗？我个人才识短浅，担任这个工作拖延多年，应负主要责任。加上礼仪修成之初，没有上报，实在是才疏事多，考虑不周，时常感到惭愧不安，日夜不忘。自今年春天皇上亲自视察军队，找来军礼一看，发现有关条款全都记载得很详细。所谓文采飞扬，相信能与日月齐光，可以颁行天下。我心里很高兴，很想把有关情况作一说明，加上前后几任官员都去世了，我虽然活着，但也快老了，心想皇世大典，有可能无人上奏，不知道下面的情况怎样，于是写明撰修的始末，以及负责人所写成的卷秩条目等，上奏皇上。”
皇帝下诏说：“主要礼仪已具备，有关典章也记载得很清楚，下诏各有关官吏按此执行。”又下诏说：“徐勉上书很好。起源沿革清楚，宪章详细完整，功成业定，表现在这里。可以让天下感到光明，在百代实施，使万世以后，知道我朝的文明。负责的官吏按此执行，不得疏失。”不久加任徐勉为中书令，给亲信二十人。徐勉因病自己请求辞去内朝官职，皇帝不同意，所以下令他可以不去地方体察民情，三天上朝一次，有事可派主书决定。脚痛得很厉害，好久不能上朝，坚决请求辞去官职，皇帝才同意他休假，病情好转就要回来。
徐勉虽然居显要的官位，但不置办家产家业，家里没有积蓄，俸禄接济亲族中的贫穷人家。他的学生旧交有的曾劝说他。徐勉便回答说：“别人把财富留给子孙，我把清白留给子孙。子孙有才能，自己就能够弄到大车小车；如果没有才能，财富最后还是会落到别人手中。”
中大通三年(531)，又因病请求辞去官职，改任特进、右光禄大夫、侍中、中尉将军，并为他设置佐史，其他待遇和从前一样，增加亲信四十人。宫庭来探望的人，车轮相连，冠盖相望；饭食医药与皇室相同。皇帝曾下诏要亲临看望，徐勉认为跪拜不方便，多次请求皇帝不要来，皇帝同意了他的请求。大同元年(535)死，终年七十岁。高祖听说后眼泪直淌，当天便去凭吊，下诏赠特进、右光禄大夫、开府仪同三司，其他官职仍保留。送棺材一副，朝服一套，衣服一套。赠钱二十万，布一百匹。皇太子也到场哀悼。谥号简肃公。
徐勉很会写文章，写作十分勤奋，虽然政务很忙，仍不停地著述。曾因起居注太繁杂，徐勉对之加以删节撰成《流别起居注》六百卷；《左丞弹事》五卷；在选举官任期内，撰写《选品》五卷；齐朝时，撰写《太庙祝文》二卷；认为儒教、佛教教义不同，但目的相同，撰《会林》五十卷。其著述前后二集共四十五卷，又撰写《妇人集》十卷，都在当时流传。大同三年(537)，前任佐史尚书左丞刘览等到皇宫陈述徐勉生平事迹，请求立碑刻石纪念他的功德，皇帝下诏在他的墓上立碑。