陈遇，字中行，祖先为曹人。高祖义甫，是宋朝翰林学士，迁移到建康，此后子孙一直居住在这里。陈遇天资过人，笃学博览，精通象数之学。元末为温州教授，不久辞官归隐，学者们称之为静诚先生。太祖渡江，得到秦从龙的推荐，发聘书聘请陈遇，引用伊、吕、诸葛为比喻。陈遇到来，和太祖交谈，太祖十分高兴，于是留他参与密谋，逐渐成为亲信。太祖担任吴王，授予他供奉司丞，他推辞了。太祖即皇位，三次授予翰林学士，都予以辞退。于是赐给肩舆一乘，卫士十人保护他出入，以显示荣华恩宠。
洪武三年(1370)，奉命到浙江廉察民情，回来后赐给金银玉帛。任命为中书左丞，又辞职不就。第二年召对华盖殿，赐坐，命令草拟《平西诏》。授予礼部侍郎，兼弘文馆大学士，又辞去。西域进贡良马，陈遇引用西汉的典故进谏。任命为太常少卿，坚决推辞。强迫他，也不同意。最后任命为礼部尚书，又坚决推辞。太祖沉思很久，顺从了他。从此不再强迫他做官。太祖曾从容地说要让他儿子做官，陈遇说：“我三个儿子都还小，学业未成，等以后再说吧。”太祖也没再强求。
陈遇自开国之始，就一直侍候在太祖身边。太祖曾问他保国安民的良策，陈遇回答说“：不嗜杀人，减轻赋税，任用贤良，把恢复先王礼乐作为首要任务。”有的廷臣因过错而遭到谴责，陈遇力争解围，使得多半人都得到谅解。他计谋多，但秘而不传，极力崇礼，勋戚大臣无人可以和他相比。太祖多次亲临他的住处，言必称先生，有时称之为君子。任命官职就推辞，显示出了他的高尚。十七年(1384)去世，赐葬钟山。