徐遵明字子判，华阴人。自幼丧父，喜爱学习，十七岁那年，跟随同乡毛灵和等人到山东求学。到了上党，就拜屯留王聪为师，学习《毛诗》、《尚书》、《礼记》。一年后，就辞别王聪游于燕、赵之地，拜张吾贵为师。张吾贵的学生很多。徐遵明认真学习了几个月，就私下对朋友说：“张生名气虽然很大，却没有约束限制，凡是他讲解的东西，都不称我的意。请求另拜老师。”就和平原人田猛略到范阳孙买德处。跟孙买德学了一年，徐遵明就又想离开。田猛略对徐遵明说“：你年纪轻轻从师学习，每次都不能把学业学完，这样来学，恐后终究一无所成。”徐遵明就指着他的心口说“：我如今知道真正的老师在哪里了，它就在这里。”就到平原人唐迁处，居住在蚕房里，读《孝经》、《论语》、《毛诗》、《尚书》、《三礼》。六年之中，足迹不出庭院，时而弹筝吹笛，自我娱乐。徐遵明又得知阳平馆陶赵世业家有《服氏春秋》，是晋朝永喜年间的旧抄本，就前往阅读，又经过了好几年。于是亲自撰写《春秋义章》三十卷。这之后开始教授学生，每次到了讲坛，先手持经籍义疏，然后才开始讲解。学生至今仍是这样，慢慢地就成了习俗。徐遵明在外讲学二十多年，天下学子无不尊崇敬仰。特别喜好敛财，和刘献之、张吾贵都在河北传授弟子，收取的丝帛谷物，明码标价，或者留下衣服财物抵押，称为“影质”，有损于读书人的风度。徐遵明看到郑玄《论语序》说“书以八寸策”，误以为是“八十宗”，因而枉加解说。其偏执都是这个样子。刘献之和张吾贵比徐遵明更加过分。
徐遵明不喜欢京城，因为兖州有旧友，就迁到了朋友那里。元颢进入洛阳，任城太守李淇准备兴举义兵，徐遵明一同参与其事。夜里敌兵偷袭，徐遵明被乱兵杀害。孝武帝永熙二年(533)，徐遵明的学生通直散骑侍郎李业兴上表请求追封，终于没有追赠谥号。