元文遥，字德远，河南洛阳人。北魏高祖昭成帝什翼犍的第六世孙子。五世祖为常山王拓跋遵。父亲名元..，恪守孝道。元..的父亲去世，他一直住在墓侧，直到自己去世。文遥做官显贵后，朝廷追赠元..为特进、开府仪同三司、中书监，谥号为孝。
文遥天生的聪明智慧，济阴王元晖业常常称赞他“：这孩子是辅助天子的人才啊。”元晖业经常宴请宾客，当时有人将南梁诗人何逊的文集带入洛阳，文人学士们读了无不称赞。河间的邢邵命文遥诵读，文遥接过一看便放声朗诵，当时他才十多岁。济阴王说“：这是我家的千里驹，今天你测试的结果怎么样？”邢邵说“：这大概是自古以来没有见过的神童。”他被朝廷征辟，离开家任员外散骑侍郎。他的父亲去世，守丧期满后任太尉东阁祭酒。因天下动乱，便辞去官职，回家奉养母亲，隐居在林虑山。
东魏孝静帝武定时，文襄帝高澄征请他任大将军府功曹。北齐代魏，文宣帝在登坛受命的地方封文遥为中书舍人，命他宣读朝廷的号令。杨遵彦常说：“将来能够像战国时的秦国的穰侯那样挂起一国相印的，必定是这个人。”后来忽然有圣旨将他拘押幽禁，却不知道是什么原因。过了好多年，文宣帝亲自到监狱，握着他的手惭愧地谢罪，并解下身上佩带的金带以及衣服赐给他，从这一天起他被封为尚书祠部郎中。孝昭帝管理国家朝政，任他为大丞相府功曹，参与国家的机密。孝昭帝即位后，任他为中书侍郎，封为永乐县伯，参与军国大事的讨论。孝昭帝病重，他与平秦王高归彦、赵郡王高睿等一起受孝昭帝的委托，迎立武成帝高湛。武成帝即皇帝位，对文遥的任命和待遇都很高，他历任给事黄门侍郎、散骑常侍、侍中、中书监。天统二年(567)，后主下诏特给他赐姓为高，户籍隶属皇室正宗，子弟们依例入籍，每年按时到宗庙祭祀。他又迁任为尚书左仆射，晋封爵号为宁都郡公，仍任侍中。
文遥历经三位帝王。他通达时务，天子每次登殿大集群臣，多次命他宣读朝廷的政令，号令文武百官。他的声音高亢响亮，说话流利顺畅，毫不阻滞。然而发挥天子的旨意，常常有出自民间的俚语，所以，不被了解他的人所看重。北齐沿袭魏时的制度，县令多任用地位低贱的人。至于望族名门，都耻于掌管方圆百里的小县。文遥认为县令抚养人民，最为重要，便请求朝廷认真加以选择。于是，朝廷秘密搜集士大夫和缙绅子弟，下诏任用他们。为了防止他们到处诉说，便将他们召集在神武门，命赵郡王高睿宣布圣旨，一一喊出他们的姓名，厚加劝慰勉励。士族到县任职，从这里开始。文遥与赵彦深、和士开同被朝廷重用，他虽然不如赵彦深廉洁忠贞，坚守直道，也不像和士开那样贪婪好淫，祸乱朝政。他的品格和地位在季氏与孟氏之间。然而，因为他的性格温和厚重，与物无竞，所以认为他不在赵彦深之下。早先，文遥从洛阳迁到邺城，只有十余顷地，家境贫困，就依靠这些土地为生。北魏衰萎，皇族宗室都被侵侮，有人与他争夺土地，他便给了这一家。等他官位显赫，侵夺他土地的这个人还在，吓得带着全家逃跑。文遥听说后十分吃惊，追上他加以宽慰，把土地还给他。这人因惭愧而不再接受，彼此互相谦让，这块地竟被闲置起来。
后主即位，赵郡王高睿和娄定远等人密谋将和士开赶出朝廷，文遥也参与了他们的谋划。高睿被杀，文遥因此被调出京城，任西兖州刺史。他到和士开那里告别，士开讥讽道：“你处在能在朝廷发言的地位，却不自重，想使元家的后代做别人的仆人，太辜负朝廷的期望。”说罢又感到后悔，便拉着文遥的手慰问勉励。还怕文遥怀疑，就任用文遥的儿子元行恭为尚书郎，以宽慰他的心。和士开死后，他从东徐州刺史任上被征调入京，竟不被任用。去世。