张俊，宣府前卫人。他继承世袭职位，为本卫指挥使。累升至大同游击将军。弘治十二年(1499)，又因功进升为都指挥同知。
火筛侵入大同左卫，大肆抢掠八日之久。张俊派兵三百在前拦截，又分兵三百作为策应，自己则亲自率军在荆东庄抵御。傍河扎营，击退三万余敌寇骑兵。皇上大喜，马上提拔他为都督佥事。不久，总兵官王玺因事被追究，皇上立即命张俊代替王玺。这年冬天，张俊因贼寇入侵而戴罪在身，随即被调去镇守宣府。宦官苗逵在延绥督师，命大同、宣府士兵作为侦察骑兵。张俊坚决不派，苗逵于是弹劾张俊。皇上宽恕了张俊，却命他按苗逵所言派出士兵。
武宗刚刚即位，敌寇乘着朝廷大丧而大肆入侵，扎营二十余里。张俊派遣李稽、白玉、张雄、王镇、穆荣等将领各率三千人，分扼要害之地。不久，敌寇由新开口毁墙而入，李稽上前迎敌，白玉、张雄、王镇、穆荣各率所部在虞台岭抵御。张俊急率三千人赴援，中途伤了脚，便将军队交给都指挥曹泰。曹泰到达鹿角山时，被敌寇包围。张俊极力忍住疼痛，加调军队五千人，携带三日军粮，迅速解除曹泰之围，再援救出王真。又分兵救援李稽、白玉，李稽、白玉也突围而出。唯独张雄、穆荣被阻在山涧之中，援绝而死。诸军已十分困乏，于是收兵而返。敌寇追击，诸军且行且战，只得以进入万全右卫城，兵马死亡无数。张俊及宦官刘清、巡抚李进都被调回京城。御史郭东山建议说，张俊带病救援，奖惩不应当偏废，于是他才被允许赎罪。
正德五年(1510)，张俊被起用为代理都督同知，主管神威营操练。第二年六月，杨虎等贼寇自山西十八盘返回，攻破武安，劫掠威、曲周、武城、清河、故城、景州，转入文安，与刘六等会合。都指挥桑玉多次失败，佥事许承芳请求增兵。朝廷于是命令张俊充任副总兵，与参将王琮统领京军一千人前去征讨。往来近畿数月之久，未能重创贼寇。不久，朝廷决定调来边军协守，贼寇于是连连失败。第二年三月，刘六、刘七、齐彦名、庞文宣等败逃登州、莱州海套。陆完命张俊驻守莱州，会合李钅宏等将领拦击贼寇。贼寇于是北逃，转掠宝坻、香河、玉田，张俊迅速偕同许泰、却永阻拦之。皇上十分高兴，赐白金慰劳。贼寇由武清西逃。不久，张俊因病应诏回京。贼寇平定后，张俊被实授为都督同知，直到张俊去世。
张俊作为边将，持重廉洁，有勇有谋，他去世时，家里竟无余钱。