郑玉字子美，徽州歙县人，年幼聪明好学，深悉六经，尤精于春秋。无意做官而勤于教学，学子门人前来求学的很多，以致房子容不下，有的学生便在他的住处旁就地建造“师山书院”作为课堂宿舍。
郑玉的文章不必再三雕琢锤炼，便流传京师，揭彳奚斯、欧阳玄都交口称赞。至正十四年(1354)朝廷任命他为翰林待制、奉议大夫，并遣使者赐以御酒与钱币，从海路去征用他。玉推辞自己有病，不去就职，并向皇帝写了一份报告说：“名称爵号，是祖宗遗留给皇帝的，是要皇帝和天下圣者共有的，皇帝不能私下给人。待制一职，我非胜任之才，不敢接受。酒与钱币是天下人奉献给皇帝的，皇帝也可以私下给人，故酒与钱币，我不敢不受。”玉既不做官，就在家日以著书为事，所著有《周易纂注》。
十七年，反元义军进入徽州时，也有意罗致郑玉，玉说：“我哪能事二姓？”于是被反元义军拘囚。时间长了，亲戚朋友便都带吃的东西去探监，玉态度从容，与亲友尽欢，但誓称必死。其妻听后说，“你如死，我便从你于地下。”玉得知妻的态度，便对妻说，“你如果真随我去死，我就没有遗憾了。”次日，便整理衣冠，向北再拜后，自缢死。