宇文孝伯字胡三，是吏部安化公宇文深的儿子。
他的生日与高祖同日，太祖很喜欢他，把他抚养在自己家里。
长大后，又与高祖同学。
武成元年(559)，授宗师上士。
当年十六岁。
宇文孝伯沉静正直，喜欢率直而言。
高祖即位后，想把他安置在自己身边。
当时朝政被冢臣把持，皇帝无法独行其事，只得借口小时候与宇文孝伯一块学习经籍，可以借此互相启发。
晋公宇文护因此没有猜忌，宇文孝伯得以入朝担任右侍上士，常常侍奉高祖读书。
天和元年(566)，升任小宗师，兼任右侍仪同。
父亲去世，诏命他在服丧期内承袭爵位。
高祖曾从容对他说：“你对于我，好比汉高祖与卢绾一样。”于是赏赐他十三环金带。
从此总是随侍左右，出入卧室，朝廷的机密大事，都得以参与。
宇文孝伯也尽心尽力，无所避忌。
至于政事得失，宫外小事也都一一上奏。
高祖对他十分信任，当时没有人能与他相比。
高祖准备处死晋公宇文护时，秘密与卫公宇文直策划。
只有宇文孝伯、王轨、宇文神举等人得以积极参与。
宇文护被处死后，授开府仪同三司，历任司会中大夫、左右小宫伯、东宫左宫正。
建德年间以后，皇太子渐渐长大，没有美德，只亲近小人。
宇文孝伯对高祖说：“皇太子为四海所仰慕，而没有听说过他的美德。
微臣愧任宫官，应当受到责备。
况且他年纪还轻，志向事业尚未成就，请认真选择正直的人，当他的老师和朋友，调理皇太子，希望日有所得，月有所进。
如果不这样做，那就后悔莫及了。”高祖严肃地说：“你家世代刚直，尽心效力。
听你这些话，确有家族的遗风。”宇文孝伯拜谢道：“说出意见并不困难，最难的是接受意见。
诚恳希望陛下慎重考虑。”皇帝说：“没有比你更正直的人了。”于是任命尉迟运为右宫正，宇文孝伯仍任左宫正。
不久，授宗师中大夫。
吐谷浑入侵时，诏命皇太子征讨。
军中诸事，大多由宇文孝伯决断。
随即授京兆尹。
入朝任左宫伯，转任右宫伯。
有一次陪侍皇帝，高祖问他：“我儿近来有点长进吗？”宇文孝伯答道：“皇太子近来惧怕陛下，没有过失。”后来王轨在宫中宴会上捋住皇帝胡须，诉说太子的过失，高祖停酒不饮，责备宇文孝伯说：“你常常对我说，太子没有什么过错。
如今王轨又这样说，你在欺骗我吗？”宇文孝伯再次叩拜，说道：“微臣听说父子之间，别人很难说什么话。
微臣知道陛下不能忍痛割爱，所以有些话到了嘴边而没有说出来。”皇帝明白他的心意，沉默了很久，才说道：“朕已托付给你，希望你自勉。”建德五年(576)，大军东征，授内史下大夫，命令他留守京师，掌管内阁政事。
大军返回后，皇帝说：“留守重任，无须战功。”于是加授大将军，晋封广陵郡公，食邑三千户，并赏赐金帛、女妓等。
六年，仍担任宗师。
皇帝每次外出视察，常常命令他在京师留守。
后来高祖北征，至云阳宫，病势加重。
令驿站急召宇文孝伯赶赴云阳宫。
皇帝拉着他的手说：“我自忖病已难好，把后事托付给你。”当天夜里，授司卫上大夫，总领宿卫兵马。
又命令他骑着驿站的马入京镇守，防备出现异常情况。
宣帝即位，授小冢宰。
宣帝忌恨齐王宇文宪，想除掉此人。
对宇文孝伯说：“你如果能为我除去齐王，我就把他的官职爵位授给你。”宇文孝伯叩头说：“先帝遗诏，不许乱杀骨肉。
齐王是陛下的叔父，既是近亲，又有大功，为国家重臣，社稷栋梁。
陛下如果随便治罪处死，微臣又违心顺从旨意，那么臣就是不忠之臣，陛下就是不孝之子了。”宣帝不高兴，就逐渐疏远了他。
而与于智、王端、郑译等人秘密策划这件事。
后来命令于智告发宇文宪图谋反叛，派宇文孝伯召唤宇文宪入宫，杀掉宇文宪。
宣帝西征时，在军中犯有过错，郑译有时也参与作恶。
军队回来后，宇文孝伯和王轨把这些事都告诉高祖，高祖大怒，打宣帝数十杖，又将郑译免官。
到这时候，郑译又被宣帝所宠。
宣帝追恨挨打，问郑译道：“我脚上的杖痕，是由谁引起的？”郑译答道：“事情由宇文孝伯、王轨引起。”郑译又乘机说出王轨捋高祖胡须的事。
宣帝就把王轨处死。
尉迟运害怕，私下对宇文孝伯说：“我们一定免不了灾祸。
怎么办？”宇文孝伯回答说：“如今家中有老母，地下有武帝，为臣为子，都应当知道该怎么办。
况且接受委托，侍奉他人，已经献身名誉和道义，规劝而不被采纳，又怎么能贪图活命呢？您如果只为自己性命打算，应当离我远一些。”于是各人按自己想法行事。
不久，尉迟运出任秦州总管。
宣帝荒废事务，迷于佚乐，一天更甚一天，而且胡乱杀人，朝廷典章废弛混乱，没有法纪。
宇文孝伯又连续恳切劝谏，都不被接受。
从此更被疏远排斥。
后来稽胡反叛，命令宇文孝伯为行军总管，跟随越王宇文盛讨平稽胡。
军队回来后，宣帝打算杀掉宇文孝伯，就借口齐王之事，责备他说：“你知道齐王谋反，为什么不揭发？”宇文孝伯回答道：“微臣知道齐王忠于国家，被那群小人陷害，横加罪名，微臣认为说了必定无用，所以不说。
况且先帝嘱托微臣，只命令我辅导陛下，如今劝谏而不听从，实在辜负了先帝的嘱托。
把这个当做罪名，我甘心服罪。”宣帝十分惭愧，低头不语。
于是命令把他推出去，赏赐他在家中自尽。
当时三十六岁。
隋文帝登基后，认为宇文孝伯、王轨都是由于忠心耿耿而被治罪，下令将他们重新安葬，恢复他们的官职爵位。
又曾经对高赹说道：“宇文孝伯实在是周国的良臣，如果当时此人在朝中，我们这些人就什么也干不成了。”儿子宇文歆承袭爵位。