伯茂少年时，就颇有威望和影响。博览群书，文章华丽，因被封为奉朝请，得以脱去布衣到朝廷做官。后来被封为中军大将军。
伯茂喜好饮酒，形迹颇为疏散狂傲，因而，长久不能升迁，心情郁闷。天平二年(535)，他参加朝廷的宴会，侮辱了殿中尚书、章武王元景哲。景哲便向朝廷控告他丢掉官员的身份，与太监在一起；用梨敲打桌案，弄脏了别人的官服；在皇宫禁庭，脱下衣服让别人拿着。朝廷下诏将他交给有司处理，后来竟然没有问罪。
伯茂晚年，狂饮无度，以至于伤身乱性，常因此引起过失。死前数日，忽然说：我得到密信，朝廷要逮捕我。便与他的妻子乘车西逃。后来因为他指着墙壁，说有官府的人来追赶，妻子才知道他精神有了毛病。死后，埋葬在家中的园子里。友人常景、李浑、王元景、卢元明、魏季景、李骞等十多人在他的墓旁摆酒祭奠，一个个痛哭流涕，边饮边将酒浇在地上，说：“裴中书魂魄有灵，知道我们来看你了吗？”每人各赋诗一首。李骞因魏收也与伯茂交谊深厚，将诗稿寄给了他。魏收当时在晋阳，也同他们一样写诗评论伯茂，其中十个字是：“临风想玄度，对酒思公荣。”时人认为伯茂性情傲慢，魏收的诗颇能将他概括。