张行简，字敬甫。他聪明而又苦学，博通经史。大定十九年(1179)考中第一名进士，被任命为应奉翰林文字。因母亲去世而服丧，葬母于益都，闭门读书，没有人能够见到他。服丧期满，恢复原职。金章宗即位后，转任修撰，进读上奏朝廷的奏疏等，代太常博士。夏国派使者前来慰问，准备在皇帝去世的灵殿举行祭祀。张行简说：“他是被派来访问的，不是专祭的使者，不能这样。”朝廷商议准备广赐给高丽物品。张行简说“：近时我国派使者前去报丧，他们因一些小事加以阻拦，况且出言不逊，必须等移问的文书答复之后，再广赐不迟。”徒单克宁认为他说得对，对他十分器重。又转任翰林修撰，和路伯达一同进读上奏的疏文。累迁至礼部郎中。
司天台刘道用修改了新历法进上朝廷，皇帝下诏让学士院重新确定历法的名称。张行简上奏说，请再校正和测验一段时间，等以后月食时计算得没有差错，然后再赐给历名。皇帝诏令翰林侍讲学士党怀英等人再行校正。党怀英等校定刘道用上奏的新历：明昌三年不设闰月，就将闰月作为三月；二年十二月十四日，金星和木星都在危十三度的地方，而刘道用的历法是在十三日，相差一天；三年四月十六日夜里发生月食，新历计算的时刻和实际月食时刻不同。刘道用没有考察和检验古今的记载，也没有经过事实的验证，轻率进上朝廷，不能使用。刘道用被判了一年徒刑先关押后被赎出，任长行的彭徽等四人各被责打八十杖后罢免。
群臣多次请皇帝上尊号，章宗不答应。当准备下诏书颁布天下时，张行简上奏说“：往年饥民遗弃子女，有的送给人家收养，后来朝廷下诏让官府为他们收养或赎回，有的其父母衣食稍微充裕之后，就又去领认，官府也就判还给他们。从此之后，灾荒年景，孩子流亡于道路之上，没有人肯去收养，许多人因而饿死和病死于沟壑之中。我见近代发布的救灾诏书，上面都写上‘以后不得复取’的字样，如今请仍依照施行。”皇帝赞同他的话，令中书省照办。过了许久，张行简又兼同修国史，又改为礼部侍郎、提点司天台，直学士、同修国史如故。
张行简进言说“：唐朝制度，仆射、宰相上任时，百官通班祝贺，仆射、宰相降阶答拜。国朝的皇太子在正月初一、生日时，三师、三公、宰相以下官员同班前往拜见祝贺，皇太子站立接受拜贺然后答拜。而现今尚书省正副主官上任之日，分为六品以下官员排为一班拱手祝贺，正副官员坐而答礼；左右司郎中五品官员上堂拱手祝贺，正副官员也是坐着答礼。我认为身体坐着举手答礼，近于坐下接受祝贺。这样，正副官员接受祝贺的礼仪，比皇太子还隆重，恐怕于理不妥。区别事情的大小，这是礼仪方面的重要问题，请让宰执官员上任之时，令三品以下官员同班祝贺，宰执官员起立，依照见三品官的仪式拱手答拜。”皇帝说：“这种事情怎么不早些加以区分和纠正呢？或者是都省擅作主张的，卿所论极是。”张行简回答说“：礼部曾经参考古今的礼仪，拟定了各种仪式，但省廷不肯听从，便更改以后上奏了。”皇帝将张行简的意见交尚书省商议，于是照他办法实行了。所以宰执们上任之日，三品以下官员一起向他祝贺，宰执们起立答拜的礼节，是从这时开始实行的。
张行简又在和皇帝对问时，论及典章制度的故事是一门学问，请求在太常博士下面设置两名检阅官员，让精通礼学但资历较浅的人担任，等资格比较深了就升为博士。又说“：现今虽然有国朝所编的《集礼》，可是有关食货、官职、兵刑沿革等方面，都尚未成书，请求编成会要，以传于后世。”承安五年(1200)，他被升任侍讲学士，同修国史、提点司天监如故。
泰和二年(1202)，他担任了给宋朝国君生日祝寿的副使。皇帝召见了正使完颜瑭，告诫他：“你过境以后不要喝酒，各事听从张行简的。”又对张行简说“：宋人行礼时，喜欢关注一些细节问题，如果有不合适的，都应加以纠正，凡是旧例有的不能不办。”接着又说“：我听说以前派去的使者过淮河时，往往到中流，就在分界线争渡船，这实在非礼，你自己事先告诉船工，并且对宋国使者说：‘两国和好日久，不要争论细节小事伤了大体。’多说几遍，让他们都知道我方意图。”泰和四年，又下诏说：“每当奏事时，必须让张行简常在身边。”
泰和五年，群臣又上疏请皇帝上尊号，皇帝不答应，让张行简写诏书做批答，同时又询问他宋朝的范祖禹曾经写了《唐鉴》一文论述上尊号的事情。张行简回答说“：司马光也曾经反对上尊号的事情，不过文章没有范祖禹的言词深刻，范认为臣子在皇帝活着的时候就给国君上谥号，颇令人想起伤感的事情。”皇帝说“：你就用范祖禹的意思加以回答，并且说，太祖虽然有尊号，太宗却没有接受过。”张行简要求写文词时不拘泥于用对偶句式，引用范祖禹的一些看法来说明问题。皇帝答应了，这篇诏文写得深刻而有雅意，是一篇很好的代言体文章。
后来，张行简改任顺天军节度使。皇帝对张行简说“：你过去没有治理过民众之事，如今前往保州，这里民情奸伪，难以一时揣测，怎样治理比较合适？”张行简回答说“：微臣遵奉法令，不敢违背，狱讼之事，以详情细察，管好官吏，抑制豪强奸猾之徒，以安定为主，大概能有所成就吧！”皇帝说：“你到任半年或一年后，将所了解到的利害方面重要问题上奏。”张行简到保州以后，上书奏说：“近些时候，收官田给军队所用，早已定过。有再来请求另外拨给的，也都按照要求给予，这事至今不停。但这些名为官田，其实是收取民田送给的，夺民与军，只会开启争端。我所管辖的地方已拨给深泽县田地三百余顷，但又来报告说水淹和沙碱地有三分之二，如果全部听从，什么时候才能结束。我认为应当确定一个日期，不允许再求告为便。”皇帝将奏书批下尚书省议定，尚书省奏请：“如实有被水淹和因河岸崩塌不能耕种的，由本路和运司的佐官查验，尚书省批给按察司复核无误后，再行改拨。如沙碱地贫瘠，应当照已拨为定。”皇帝批示“：可以。”
泰和六年(1206)，召回任礼部尚书，兼侍讲、同修国史。秘书监送上《太一新历》，皇帝诏令张行简校定。七年，皇帝派中使冯贤童送来一封封好口的御书给张行简，信上说：“朕念及镐、郑二王违背天理，自遭灾祸。草草葬于郊野，已历多年，朕十分痛惜。想追改恢复原来爵位，备礼改葬。卿可详细查阅唐贞观年间追赠隐、巢，以及前代故事，密封奏闻。”又说“：我想让石古乃在威州选择地方埋葬，按时令进行祭奠，同时让卫王从几个孩子中选一人立为郑王的后嗣，认真祭祀。此事既已实行，以理必须下诏，你可草写一封诏文，大体写就后一起封好进上。”张行简便将汉朝淮南厉王刘长、楚王刘英、唐朝隐太子建成、巢剌王元吉、谯王重福的故事一起进奏，并写好了诏书同进，于是加以施行。累迁至太子太保、翰林学士承旨，尚书、修史如故。
贞..初年，转任太子太傅，他上书谈论议和一事，大意说：“东海郡侯曾经派人来商定议和，因计较一些细节，拖延不决。如今都城危急，怎能拒绝。臣愿陛下再加考虑，暂且包容荒垢，以救生灵。或者如同辽、宋，同为敌国，每岁送去币帛，或二三年送一次。要选派忠诚干练的人员，前去议和，大概可以成功，这样可以缓解目前困境。”当时，百官们的议论，虽然有所差别，但大体以和为主。庄献太子去世后，宫中不设师傅官员，张行简被升为翰林承旨，二品，以示优宠，其余所兼任职务如故。
三年七月，朝廷预备秋天防敌的器械，下令内外官员不论服丧或退休在家的，都要预备弓箭。张行简上书说：“弓箭不是通常使用之物，那些家境清贫以及中下级官员，服丧退休者，哪会有所规定的兵器。如今以军期规定，只能修补残破损坏的，以求应付命令而已，这和仓促制造出来的有何区别？如果在各州郡和猛安谋克人的家里收取，选择优良的购买下来，不够的部分，让有关部门按价购买，这样就能不扰民而事情可以办好。”左丞相仆散端、平章政事高琪、尽忠、右丞相贾益谦也都说：“服丧和退休的人可以免去。”代理参政乌古论德升说“：官员们长期享有爵位俸禄，战事兴起以来，对国家没有一点裨益，况且如今事情已确定并在实行中，再为更改，怎么取信于天下？”这次争议结果，那些服丧和退休在家的官员因而得以免除。当年，张行简去世，赠封银青荣禄大夫，谥为文正。
张行简品行端正，办事细心谨慎，被皇帝所知遇。他从初入翰林院到太常寺、礼部，终身掌管贡举官员的要职，缙绅们都以此为荣。他和弟弟张行信同居几十年，没有人说过闲话。所写的文章有十五卷，《礼例纂》一百二十卷，有关会同、朝献、..舉祭礼、丧葬等事，均有记录，同时还有《清台》、《皇华》、《戒严》、《为善》、《自公》等书，都收藏在家里。