高智耀，河西人，世代在西夏为官，曾祖高逸为大都督府尹，祖父高良惠为右丞相。智耀亦考中西夏进士，西夏亡后，隐居贺兰山中。太宗应河西众人的推荐，召他出来做官，智耀坚决推辞。
皇太子阔端镇守西凉时，命儒生服徭役，智耀至王府对皇太子说，儒生从来是免于服役的，如今把他们与一般人对待，不当，请收回成命。皇子听取了他的意见。宪宗即位后，智耀入朝拜见皇帝，再次奏请免除儒生徭役，他说：“儒生所学的是尧、舜、禹、汤、文、武治国之道，自古为君王的，用他们则国家强盛，不用则国家衰败。今天应注意培养人材，以备将来任用，所以应免除儒生徭役，让他们能多受教育。”宪宗也采纳了他的意见，诏令免除海内儒士徭役。世祖即位前就闻知智耀贤能，即位后召见他，与他反复辩论儒家学说对治国的重要，智耀引古证今滔滔不绝，世祖佩服他见识渊博，专铸官印，用以签发免除儒士徭役的公文。这时，淮、蜀一带儒生被俘者，均降为奴隶，智耀奏请释放，世祖允准，并拜他为翰林学士，巡视各县郡。被他查出释放的儒生数千人。
智耀又建议设置御史台以整肃朝廷纲纪。于是至元五年(1268)设立御史台，智耀升为西夏中兴等路提刑按察使。西北藩王遣使入朝，奏问本朝为何要采行汉人的文化和各项制度，世祖派智耀去进行解释说明，行至上京病卒。世祖为之哀悼。后赠崇文赞治功臣、金紫光禄大夫、司徒、柱国，追封宁国公，谥“文忠”。子高睿。
高睿禀性耿直，为人光明磊落。高智耀死后，世祖问其子何在，近侍之臣引睿进见，当时才十六岁。世祖授他为符宝郎，很久以后又授为唐兀卫指挥副使。嗣后历任翰林待制、礼部侍郎。
高睿任嘉兴路总管时，境内老练的强盗白昼掠夺民财，官府虽派出衙役捕卒，亦将他们无可奈何。睿下令追捕，不到十天就生擒归案，全郡得以安宁。升为江东道提刑按察使，境内草寇嚣张，声言要围攻宣城，州郡官胆小如鼠，不敢打开城门。睿斥责他们：“寇势大张，将官们先示弱，老百姓去依靠谁？”他密布卫军，洞开城门，听百姓自便出入贸易。盗寇知宣城有备，不敢冒进，睿派兵讨平之。委他为同佥行枢密院事，调升浙西肃政廉访使，拜为江南行召御史，晋升御史中丞，委为淮东道肃政廉访使。真州库钞三万缗被盗，官府大肆搜索，逮捕平民数百人。睿亲自详审，终得实情，当即释放。不久真盗缉拿归案。复拜睿为南台御史。
高睿于延..元年(1314)卒，六十六岁，累赠推忠佐理功臣、太傅、开府仪同三司、上柱国，追封宁国公，谥“贞简”。子纳麟，官至太尉、江南诸道行御史台大夫。