王遴，字继津，霸州人。嘉靖二十六年(1547)的进士。就任绍兴推官。入朝任兵部主事，历任员外郎。耿直矜持，不轻易与人结交。同僚杨继盛弹劾严嵩和他的孙子严效忠冒领功绩，奏章被下达给部中复查。严世蕃自己撰稿，以此给武选郎中周冕。周冕揭发了他，反而被治罪。尚书聂豹恐惧，催促所司将严世蕃的文稿呈上，王遴径直上前争辩，聂豹恼怒，最终如严世蕃所言向上全报。杨继盛被判死罪，王遴替他送去稠粥，并且将女儿许配给他的儿子杨应箕。严嵩的父子大为愤恨，借口其他的事情将他投入诏狱。事情搞清楚后才恢复官职。等到杨继盛死去，他收殓、安葬了杨继盛。调任山东佥事，再调任岢岚兵备副使。他享有威名，为巡抚忌恨，受弹劾而离去。官民争相为他诉讼冤屈，皇帝下诏准许他再度起用。
嘉靖四十五年(1566)，王遴升为右佥都御史，管理延绥。敌寇大举入侵定边、固原，总兵官郭江战死。总督陈其学、陕西巡抚戴才遭罢免，王遴降俸一级。隆庆元年(1567)，敌寇六次入塞，都战败而逃。而御史温如玉不断抨击王遴，将他解除官职听候审查。后来御史杨轸核查汇报了他的功绩，于是又恢复原职，管辖宣府，总兵官马芳骁勇，敌寇不敢深入。王遴便大兴屯田，边防的储备都有赖于此。十年期满，他升任右副都御史。不久被任命为兵部右侍郎。探亲回乡，又起用他协助处理边防事务。
神宗继位，张居正执政，他与王遴同年出生，然而一向不和。遇上商议、检阅边防事务，王遴请求前往。皇帝命令他前往陕西四镇。他冷峻地拒绝馈赠。事情完成之后，就称病回乡。张居正去世后，他才出任南京工部尚书。不久，改任兵部，参与机要事务。守备太监丘得用大肆奴役营中的兵丁，王遴上奏请求禁止此事，趁机奏请施行谋略、安定留都等十二件事。皇帝召见并任命他为户部尚书。他先奉皇帝的诏令，免除一年赋税以及织造商议的提留，共计一百七十六万多两白银，此时，皇帝命令由太仓库中补充，王遴劝谏：“陛下经过十多年的积蓄仅有三百多万两白银，现在因为一年的赋税被免除，即刻在府库中进行补充。估计十多年的积蓄，不足偿还二年被提取用作补缺的资产。况且每年额定的金花银进奉额为一百万两，从万历六年(1578)之后，增加了二十万两，现在合计六年的数额，不只百万两。府库的积蓄不是源泉，每年贡俸不断，以后将拿什么维持？”于是指出京仓和通仓的粮食积蓄达八百万石，足以供给九年的需求，请酌量将一百五十万石折换成银两，三年后停止。皇帝下诏准许他施行一年。
当时尚宝丞徐贞明、御史徐待在京城东面开辟水田，王遴极力赞赏此举，提议很快被决定。以往，户部银专门供给军队和京都，不提供给其他事务。皇帝举行婚礼时，暂时提取了用于接济边关的银两九万两作为织造的费用，此时皇帝又打算这么做，王遴执意争辩。不久，皇帝下诏提取四千两黄金作为慈宁宫的开支，王遴又极力反对。皇帝都没有采纳。此后，他陈述理财的七件事情，奏请皇帝崇尚节俭、重视农业、督促拖欠的偿还、惩治贪官污吏、扩大储蓄、整治贡市。皇帝答复：“有关我自己的事我已经知道了，其余的事责成所司商议办理。”当时佛教盛行，王遴奏请将身强力壮的和尚淘汰，令他们回乡务农，聚众进行斋戒的人以邪道罪论处。礼部尚书沈鲁奏请依王遴的谏言行事。皇帝已经下诏同意，后妃和宦官大都声称不行，事情中途废止。
他改任兵部尚书。辽东总兵官李成梁的贿赂遍及皇帝身边的大臣，但不敢进入王遴的家门。王遴在户部频繁争执，已经被宦官嫉恨。遇上皇帝察看去世后享用的寝宫，宦官拿着皇帝的批示向他索要马匹。王遴认为题本应该盖章，司礼的传递应当由科发给部里，没有径直下达给部里的，他援引先例执意上奏。皇帝不高兴。大学士申时行曾经因管事指挥罗秀而嘱托王遴将他补作锦衣佥书，王遴阻止不准许。申时行便拟旨责备王遴擅自扣留皇帝的批示，对皇上缺乏尊敬。御史争相弹劾王遴，王遴请求退休而离去，张佳胤代替了他。给事中张养蒙称：“罗秀本是太监滕祥的奴仆，靠贿赂进入禁卫中。往年他图谋佥书，尚书王遴主持公正，被他们中伤而离去。不久，罗秀马上被越级录用，众议沸腾。”因此罢黜了罗秀，张佳胤也被罢免。
王遴虽然退位，声望更高，因为他年事很高而一再受到朝廷慰问。万历三十六年(1606)，王遴去世。赠封为太子太保。天启年间，追赠谥号恭肃。