元胄，河南洛阳人，魏昭成帝第六代孙。祖父元顺，魏时封濮阳王。父元雄，授爵武陵王。
元胄少年时英勇果断，精通多种武艺，容貌英俊，颇有威严，凛然不可侵犯。周齐王宇文宪见元胄威武健壮，就把他招至身边。元胄多次随从齐王征伐，官至大将军。隋文帝初被召入宫中，在将要受命托孤之际，先召元胄入府，接着又命陶澄入府，都被用作心腹，经常夜宿隋文帝卧房内，保护隋文帝。到隋文帝任丞相的时候，元胄一直掌管禁军，又引荐弟弟元威一起入宫侍卫。
周赵王宇文招阴谋杀害隋文帝，隋文帝不知道这件事，竟然带着美酒菜肴到赵王府与赵王宴饮。赵王领着文帝入寝室，手下的人不能跟着进去，只有杨弘与元胄兄弟坐在门口旁边守护。赵王命令他的两个儿子献瓜，借机刺杀文帝。酒喝到兴起处，赵王想从中生事，用佩带的刀子切开瓜，接连让文帝吃，准备相机行剌。元胄进去道：“丞相府有事，不可久留。”赵王斥责他道：“我和丞相叙话，你要干什么！”叱令元胄退下。元胄怒目圆睁，非常气愤，按刀入内护卫。赵王问他的姓名，元胄如实回答。赵王说：“你不是昔日侍奉齐王的那个人吗？真是一位壮士！”于是就赐给元胄酒，说：“我岂能会有恶意？你为何这样猜疑警觉！”赵王假装呕吐，想要进入后阁房，元胄恐怕他要生变故，扶赵王上座。这种情况出现了多次。赵王假称喉咙干喝，命元胄到厨房去取水，元胄不动。碰巧滕王宇文荄后到，文帝出门迎接，元胄附在文帝耳边，劝文帝迅速离去。文帝还不明白，问“：他没有兵马又能干些什么呢？”元胄说“：兵马都是他家的东西，一旦先下手，大事就不好了。我不害怕死，可死了有什么用呢？”又入内坐下。元胄听到屋后有穿戴盔甲的声音，急忙请求道：“相府的事情很急，公怎么能够这样呢？”于是就扶文帝下床，急忙离去。赵王准备追杀文帝，元胄用身体挡住门口，赵王出门不得。文帝回到相府门口时，元胄也从后面赶到了。赵王悔恨当时没有发难，弹指弹出血来。等到赵王被诛杀，文帝赏赐给元胄的物品不计其数。
文帝受禅即位，封元胄为武陵郡公，任左卫将军，很快又升任右卫大将军。文帝曾很平静地说：“保护朕体，成就这份基业，都是元胄的功劳。”元胄历任豫州、亳州、淅州三州刺史。这时，突厥人屡屡侵犯边境，朝廷认为元胄平日很有威名，任命元胄为灵州总管，北部的夷族非常害怕他。应征入朝，任右卫大将军，深得文帝宠信。有一年正月十五日，文帝与亲近的大臣登高游览，当时元胄值班已毕，已经回府，文帝快速传递诏书，召元胄陪驾。见到元胄后，文帝对他说：“公与外人登高，不如到朕身边来，与朕一起登高。”亲赐宴席，极尽欢乐。晋王杨广常常送礼物给他。房陵王杨勇的太子之位被废，元胄参与了谋划。文帝正在追究东宫太子的事情时，左卫大将军元..苦苦劝谏，杨素却谗毁元..。文帝大怒，在仪卫中把元..抓了起来。元胄当时已经下班，却没有离开，就上奏说：“臣往日不下班，就是为了防备元..。”元胄又用这些话激怒文帝，文帝于是诛杀元..。
蜀王杨秀获罪，元胄因与之有交往而受到连累，除去名籍，炀帝即位，元胄仍不得调用。这时，慈州刺史上官政因事受牵连，徙于岭南，将军丘和也因罪被废黜。元胄与丘和是旧交，因此多次和丘和一起游乐，酒酣耳热之时，元胄对丘和说“：上官政真是一位壮士，如今徙居岭南，该不会举大事吧？”于是，自己抚摸着肚子说“如果是你的话，就不会白白地被贬到那里去了！”丘和次日将元胄的话奏知炀帝，元胄竟然坐罪受死。炀帝于是征上官政入朝为骁骑将军，升任丘和为代州刺史。