不忽木一名时用，字用臣，世代为康里部大人，康里即汉代时之高车国。祖父名海蓝伯，曾为克烈王可汗效力。不忽木为燕真次子。
不忽木英俊不凡，拜太子赞善王恂为师。后随王恂北征，又拜许衡为师。许衡编纂历代帝王谥名、帝系、岁年等书为教授学生，不忽木读数遍即可背诵。十六岁时摘录《贞观政要》中数十事进呈世祖，帝知其意在借此规谏，赞叹不已。至元十三年(1276)，与同学坚童、太答、秃鲁等上疏皇帝，大意是：
《学记》说：“君子如欲教化人民，淳化风俗，必由教学开始。”“玉不琢不成器物，人不学不知道理。”故古代皇帝建国治民，以教育为先。在尧、舜、禹、汤、文、武时代，莫不兴办学校，所以国家兴隆，风俗淳厚，成为后世效法的榜样。汉朝也建立起学校，魏道武帝从北方入主中原，兴办儒学，生员三千，这些都是历代皆有学校的证明。唐代更是大力发展教育，设国学、太学、四门学，校舍一千二百间，聘博士教授书、算。高丽、百济、新罗、高昌、吐蕃诸国酋长也送子弟来学习，仅国学生员就有八千余人。唐高宗时，除原来三学之外，又增设律学、书学、算学。我元朝地大人多，非晋、隋、唐可比，然而教育尚未充分发展。
现在朝为官的人，蒙古人不多。若要多培养蒙古族人材，使他们通晓汉人的制度，必须像古代那样，各地多设学校，可先在大都广立国学，选蒙古在十五岁以下，十岁以上品质好的少年及百官子弟和平民子弟优秀者共百人入学，由官府供给衣食；选才德兼备能为师表者任司业、博士、助教。课程设小学、法律、书法、算术四科。老师讲解四书五经和修身、齐家、治国、平天下的道理。小学科令学生读诵经书及学习各种礼节；律科则培训学生将来做官的本领；书科专习书法、绘画；算科则使学生熟于算术。一科通后再学另一种。整个教育事业由国子学官总管，经常检查，奖勤罚懒，务使学有成效。数年学成之后，由学官保举，并提出：蒙古人为官应授与哪等品级，其他人能任何职。成绩不好，依旧在国子学继读学习，终不能成才者，三年后令退学。大都学校兴办好后，然后在各郡县设立学校，以达到教育民众，淳化风俗之目的。
世祖看了奏疏之后，甚是高兴。至元十四年授不忽木为利用少监，十五年任燕南河北道提刑按察副使，十九年升提刑按察使。在任按察使时，执法如山，刚直不阿，深得皇帝信任。
至元二十一年，召不忽木回京任参议中书省事。榷茶转运使卢世荣附和宣政使桑哥，说若任用他，可使国家财政增收十倍。帝问不忽木此人如何。不忽木奏曰“：自古聚敛之臣，如桑弘羊、宇文融等，都是自称善于理财，其实是欺君罔上，却表示自己是忠心耿耿；等到事情败露，罪恶昭彰，国家人民均受其害时，后悔莫及。希望陛下勿听他花言巧语。”世祖未采纳他的劝谏，任卢世荣为右丞，不忽木因此辞去参议之职。直到至元二十二年卢世荣以欺君枉法罪被诛之后，世祖才承认不忽木的意见是正确的，向他表示愧意，提升他为吏部尚书。奸臣阿合马因罪没收其家财，其心腹爪牙张散札儿也应判处死刑。但他胡言乱供，连及无辜。世祖命不忽木审理此案，查明实情，散札儿处以死刑，受冤被捕者全部释放。二十三年不忽木改任工部尚书，是年九月又调往刑部。河东按察使阿合马贿赂权贵，借贷官钱，到期搜括民间羊马偿还。被揭发后，朝廷派官员去审理，阿合马不肯伏法。最后还是不忽木去查清其违法事百余件，阿合马伏诛。大同发生灾荒，不忽木开仓赈灾，阿合马党羽诬告不忽木擅自发放军备储粮，世祖说：“开仓赈灾是他的职责，何罪之有？”二十四年，桑哥奏立尚书省，分割中书省的权力，并诬杀参政杨居宽、郭佑。不忽木为他们辩护，桑哥怀恨在心，借口令不忽木离职回家养病。二十七年拜不忽木为翰林学士承旨、知制诰、兼修国史。二十八年，彻里等劾奏桑哥篡权及迫害参政杨居宽等人罪状，帝向不忽木问明实情，决意诛杀桑哥，撤销尚书省，再将六部划归于中书省，欲用不忽木为丞相。不忽木坚决推辞，荐举太子詹事完泽，说他不曾接受阿合马的贿赂，看清了桑哥为相必坏国家大事。于是拜完泽为丞相，不忽木为平章政事。
元军初征交趾不利，世祖计划再次进讨，不忽木谏阻，建议先遣使去交趾，向新即位的国王日火尊讲明臣服于大元朝的好处，如能悔过称臣，则不须用兵，如不服再讨伐不晚。果然，交趾惧怕，派昭明王等来元朝谢罪，献上六年来的贡物。世祖高兴地对不忽木说“：此卿一言之力也。”有人劝世祖征讨流求(琉球)及在江南征收包银，均为不忽木谏止。桑哥及其党徒纳速剌丁被诛之后，世祖认为桑哥另一党徒忻都善于管理财政，打算释放。不忽木再三再四力争，终于将忻都正法。
有人诬告右丞相完泽徇私，世祖问不忽木有无其事，不忽木要求与揭发人当面对质。弄清是不实之辞，世祖大怒，令左右将揭发人掌嘴轰出朝廷。世祖常对人称赞塞..旃能干，不忽木问世祖何以见得，世祖说：“此人侍奉宪宗时，常常将内府财物拿出暗中来资助我。”不忽木说“：这是为臣不忠的表现。如果今天有人将内府财物私自去结交亲王，陛下觉得此人怎样？”世祖忙挥手说：“卿别说了，是朕失言。”
至元三十年，世祖有病，按规定非蒙古昔日有功之臣不得入卧室，而不忽木因为人谨慎厚道，每日负责皇帝医药，寸步不离。帝病情加重，留不忽木与御史大夫月鲁那颜、太傅伯颜在宫中侍奉。丞相完泽求见也不准入，抱怨说：“论年龄、爵位我都在不忽木之上，为什么不能参预国家大事？”伯颜叹息道“：如果你能有不忽木那样的见识，那就不会让我们如此操劳了。”世祖驾崩后，凡出殡、祭奠、定庙号等事，皆由不忽木主持。成宗即位，朝中大事多采纳不忽木的意见，太后也把不忽木当作先朝旧臣，十分尊重。
执政奏请任不忽木为陕西行省平章政事，太后对成宗说：“不忽木为人正直，先皇帝将国事付托于他，岂能让他任京外官员？”于是将他留京都任职。朝臣多有议论，不忽木因而称病不出。元贞二年(1296)成宗任段贞为陕西行省平章政事，拜不忽木为昭文馆大学士、平章军国重事。不忽木辞谢曰“：该职在我朝只有史天泽曾任过，臣何功敢当此重任。”成宗令去“平章军国重事”中的“重”字。大德二年(1298)，御史中丞崔..卒，特命不忽木行中丞事。三年，兼管侍仪司事。四年，病复发而卒，年四十六岁。
不忽木家本贫寒，为官后平时亦穿儒服，不好奢华。其俸禄赏赐自给有余，用以救济亲朋好友。他善于识别人材，丞相哈剌哈孙答剌罕就是他推荐的。平时少言寡语，但在帝前论国家大事时，则引经据典，侃侃而谈，滔滔不绝，知无不言。世祖视他为左右手，临崩时送他白璧，说：“他日持此以见朕。”武宗时赠纯诚佐理功臣、太傅、开府仪同三司、上柱国、鲁国公，谥“文贞”。