桑维翰字国侨，河南人。容貌丑怪，身短而面长，常常对照镜子自己奇怪地说“：七尺之身，不如一尺之面。”慨然有志当宰相。第一次考进士，主考官讨厌他的姓，说是桑、丧同音。有人劝他不必再考进士，可以用其他方法当官，维翰愤慨，就著《日出扶桑赋》以表达自己的志气。又铸铁砚给人看说“：砚磨通了就改从其他方法当官。”终于考中进士及第。晋高祖任命他当河阳节度掌书记，以后常常叫他跟随自己左右。
高祖从太原移镇天平，不接受命令，有异谋，问将校，都害怕不敢说，只有维翰与刘知远赞成，就叫维翰写书求援于契丹。耶律德光已经答应，但赵德钧也用重贿引诱德光要求助己当皇帝。高祖怕事不成，就派维翰去见德光，讲利弊得失很有说服力，德光才决心支持高祖，终于灭唐兴晋，维翰之力啊。高祖即位，用维翰当翰林学士、礼部侍郎、知枢密院事，升中书侍郎、同中书门下平章事，兼枢密使。天福四年(939)，出任相州节度使，过了一年多，移镇泰宁。
吐浑白承福被契丹逼迫，附镇州安重荣来归晋，重荣因此请求与契丹绝交，用吐浑去攻打它。高祖对此事犹豫不决。维翰上奏疏说契丹不能与之相争的理由有七点，高祖召维翰使者到他卧室内说“：北面之事，正在我心中扰乱，得你奏疏，计划决定了，可以无忧啊。”维翰又劝高祖到邺都。天福七年，高祖在邺，维翰来朝，移镇晋昌。
出帝即位，升侍中。但景延广独揽朝政，与契丹断绝盟好，维翰的话出帝不听，就秘密派人对帝说：“制契丹安天下，非用维翰不可。”才叫延广出任河南，升维翰为中书令，又当枢密使，封魏国公，事无巨细，一切委托他。数月之间，把原来堆积的事都处理完毕。以前，李瀚为翰林学士，喜欢饮酒而多过量惹事，高祖认为浮薄。天福五年九月，下诏废除翰林学士。按唐六典归其职为中书舍人，而端明殿学士、枢密院学士都废除了。维翰又上奏设置学士，而且全都用亲旧去当。
维翰权势已盛，四方贿赂，岁积巨万。内客省使李彦韬、端明殿学士冯玉共进谗言。出帝想立即贬黜他，大臣刘日句、李崧都认为不可，就用玉当枢密使，不久又用为相，维翰被日益疏远。帝饮酒过度得疾，维翰派人秘密告诉太后，请为皇弟重睿置师傅。帝病好后知道了，很愤怒，就将维翰罢相去当开封尹。维翰称足疾，很少朝见。
契丹屯军中渡，攻占栾城，杜重威等大军隔绝，维翰说：“事急了！”才去见冯玉等人议事，又意见不合。又求见帝，帝正在苑中调鹰，没时间见他，维翰退而叹气说“：晋不长久了！”
自从契丹与晋结盟好，开始成于维翰，终败于景延广，所以自从契丹兴兵犯境，契丹书檄，几乎都要谈及这两人。耶律德光进犯京城，派张彦泽送信给太后，问这两个人在否，可叫先来。帝认为维翰曾劝他不要绝盟而自己违背了，不想使维翰见德光。示意彦泽杀掉，彦泽贪他的资产也想杀他。维翰状貌奇异，平常自恃威严，晋老将大臣，见到他无不屈服，彦泽自以为骁悍，每次见了就是冬天也紧张得出汗。起初，彦泽入京师，左右劝维翰避祸，维翰说：“我是大臣，国家至此，还能逃死吗？”安坐府中不动，彦泽率兵入，问：“维翰在哪里？”维翰厉声说：“我晋大臣，自当死国，安得无礼呀！”彦泽股栗不敢仰视，退出来以后对人说：“我不知桑维翰什么样的人，今日见到他，还使人害怕到这种地步，怎能再见他？”就用皇帝的命令召维翰。维翰行，遇李崧，立马而语，军吏前来对维翰说，请赴侍卫司狱。维翰知道免不了一死，对李崧说：“相公当国，使维翰一人死？”崧惭愧得说不出话来。当夜，彦泽派人以帛加颈缢杀维翰，告诉德光说：“维翰自缢。”德光说：“我本无心杀维翰，维翰何必自己死呢？”德光到京城，派人检查尸体，相信是缢死的，就将尸赐其家安葬，而资财全部被彦泽掠去。