兄僧绰，为太初所害，亲宾咸劝僧虔逃。僧虔涕泣曰：“吾兄奉国以忠贞，抚我以慈爱，今日之事，苦不见及耳。若同归九泉，犹羽化也。”孝武初，出为武陵太守。兄子俭于中途得病，僧虔为废寝食。同行客慰喻之。僧虔曰：“昔马援处儿侄之间一情不异，邓攸于弟子更逾所生，吾实怀其心，诚未异古。亡兄之胤，不宜忽诸。若此儿不救，便当回舟谢职，无复游宦之兴矣。”还为中书郎，转黄门郎，太子中庶子。
孝武欲擅书名，僧虔不敢显迹。大明世，常用拙笔书，以此见容。出为豫章王子尚抚军长史，迁散骑常侍，复为新安王子鸾北中郎长史、南东海太守，行南徐州事，二蕃皆帝爱子也。寻迁豫章内史。入为侍中，迁御史中丞，领骁骑将军。甲族由来多不居宪台，王氏以分枝居乌衣者，位官微减，僧虔为此官，乃曰：“此是乌衣诸郎坐处，我亦可试为耳。”复为侍中，领屯骑校尉。泰始中，出为辅国将军、吴兴太守，秩中二千石。王献之善书，为吴兴郡，及僧虔工书，又为郡，论者称之。
徙为会稽太守，秩中二千石，将军如故。中书舍人阮佃夫家在会稽，请假东归。客劝僧虔以佃夫要幸，宜加礼接。僧虔曰：“我立身有素，岂能曲意此辈。彼若见恶，当拂衣去耳。”佃夫言于宋明帝，使御史中丞孙夐奏：“僧虔前莅吴兴，多有谬命，检到郡至迁，凡用功曹五官主簿至二礼吏署三传及度与弟子，合四百四十八人。又听民何系先等一百十家为旧门。委州检削。”坐免官。寻以白衣兼侍中，出监吴郡太守，迁使持节、都督湘州诸军事、建武将军、行湘州事，仍转辅国将军，湘州刺史。所在以宽惠着称。巴峡流民多在湘土，僧虔表割益阳、罗、湘西三县缘江民立湘阴县，从之。
元徽中，迁吏部尚书。高平檀珪罢沅南令，僧虔以为征北板行参军，诉僧虔求禄不得，与僧虔书曰：“五常之始，文武为先，文则经纬天地，武则拨乱定国。仆一门虽谢文通，乃忝武达。群从姑叔，三媾帝室，祖兄二世，糜躯奉国，而致子侄饿死草壤。去冬今春，频荷二敕，既无中人，屡见嗟夺。经涉五朔，逾历四晦，书牍十二，接觐六七，遂不荷润，反更曝鳃。九流绳平，自不宜独苦一物，蝉腹龟肠，为日已久。饥虎能吓，人遽与肉；饿麟不噬，谁为落毛？去冬乞豫章丞，为马超所争；今春蒙敕南昌县，为史偃所夺。二子勋荫人才，有何见胜？若以贫富相夺，则分受不如。身虽孤微，百世国士，姻媾位宦，亦不后物。尚书同堂姊为江夏王妃，檀珪同堂姑为南谯王妃；尚书妇是江夏王女，檀珪祖姑嫔长沙景王；尚书伯为江州，檀珪祖亦为江州；尚书从兄出身为后军参军，檀珪父释褐亦为中军参军。仆于尚书，人地本悬，至于婚宦，不至殊绝。今通塞虽异，犹忝气类，尚书何事乃尔见苦？泰始之初，八表同逆，一门二世，粉骨卫主，殊勋异绩，已不能甄，常阶旧途，复见侵抑。”僧虔报书曰：“征北板比岁处遇小优，殷主簿从此府入崇礼，何仪曹即代殷，亦不见诉为苦。足下积屈，一朝超升，政自小难。泰始初勤苦十年，自未见其赏，而顿就求称，亦何可遂。吾与足下素无怨憾，何以相侵苦，直是意有佐佑耳。”珪又书曰：“昔荀公达汉之功臣，晋武帝方爵其玄孙；夏侯惇魏氏勋佐，金德初融，亦始就甄显，方赏其孙，封树近族。羊叔子以晋泰始中建策伐吴，至咸宁末，方加褒宠，封其兄子；卞望之以咸和初殒身国难，至兴宁末，方崇礼秩，官其子孙；蜀郡主簿田混，黄初末死故君之难，咸康中方擢其子孙。似不以世代远而被弃，年世疏而见遗。檀珪百罹六极，造化罕比，五丧停露，百口转命，存亡披迫，本希小禄，无意阶荣。自古以来有沐食侯，近代有王官。府佐非沐食之职，参军非王官之谓。质非匏瓜，实羞空悬。殷、何二生，或是府主情味，或是朝廷意旨，岂与悠悠之人同口而语！使仆就此职，尚书能以郎见转不？若使日得五升禄，则不耻执鞭。”僧虔乃用为安城郡丞。珪，宋安南将军韶孙也。
僧虔寻加散骑常侍，转右仆射。升明元年，迁尚书仆射，寻转中书令，左仆射。二年，为尚书令。僧虔好文史，解音律，以朝廷礼乐多违正典，民间竞造新声杂曲，时太祖辅政，僧虔上表曰：“夫悬钟之器，以雅为用；凯容之礼，八佾为仪。今总章羽佾，音服舛异。又歌钟一肆，克谐女乐，以歌为务，非雅器也。大明中，即以宫悬合和《鞞》、《拂》，节数虽会，虑乖《雅》体，将来知音，或讥圣世。若谓钟舞已谐，重违成宪，更立歌钟，不参旧例。四县所奏，谨依《雅》条，即义沿理，如或可附。又今之《清商》，实由铜爵，三祖风流，遗音盈耳，京洛相高，江左弥贵。谅以金石干羽，事绝私室，桑濮郑卫，训隔绅冕，中庸和雅，莫复于斯。而情变听移，稍复销落，十数年间，亡者将半。自顷家竞新哇，人尚谣俗，务在噍杀，不顾音纪，流宕无崖，未知所极，排斥正曲，崇长烦淫。士有等差，无故不可去乐，礼有攸序，长幼不可共闻。故喧丑之制，日盛于廛里；风味之响，独尽于衣冠。宜命有司，务勤功课，缉理遗逸，迭相开晓，所经漏忘，悉加补缀。曲全者禄厚，艺妙者位优。利以动之，则人思刻厉。反本还源，庶可跂踵。”事见纳。
建元元年，转侍中，抚军将军，丹阳尹。二年，进号左卫将军，固让不拜。改授左光禄大夫，侍中、尹如故。郡县狱相承有上汤杀囚，僧虔上疏言之曰：“汤本以救疾，而实行冤暴，或以肆忿。若罪必入重，自有正刑；若去恶宜疾，则应先启。岂有死生大命，而潜制下邑。愚谓治下囚病，必先刺郡，求职司与医对共诊验；远县，家人省视，然后处理。可使死者不恨，生者无怨。”上纳其言。
僧虔留意雅乐，升明中所奏，虽微有厘改，尚多遗失。是时上始欲通使，僧虔与兄子俭书曰：“古语云'中国失礼，问之四夷'。计乐亦如。苻坚败后，东晋始备金石乐，故知不可全诬也。北国或有遗乐，诚未可便以补中夏之阙，且得知其存亡，亦一理也。但《鼓吹》旧有二十一曲，今所能者十一而已，意谓北使会有散役，得今乐署一人粗别同异者，充此使限。虽复延州难追，其得知所知，亦当不同。若谓有此理者，可得申吾意上闻否？试为思之。”事竟不行。
太祖善书，及即位，笃好不已。与僧虔赌书毕，谓僧虔曰：“谁为第一？”僧虔曰：“臣书第一，陛下亦第一。”上笑曰：“卿可谓善自为谋矣。”示僧虔古迹十一帙，就求能书人名。僧虔得民间所有帙中所无者--吴大皇帝、景帝、归命侯书，桓玄书，及王丞相导、领军洽、中书令珉、张芝、索靖、卫伯儒、张翼十二卷奏之。又上羊欣所撰《能书人名》一卷。
其年冬，迁持节、都督湘州诸军事、征南将军、湘州刺史，侍中如故。清简无所欲，不营财产，百姓安之。世祖即位，僧虔以风疾欲陈解，会迁侍中、左光禄大夫、开府仪同三司。僧虔少时群从宗族并会，客有相之者云：“僧虔年位最高，仕当至公，余人莫及也。”及授，僧虔谓兄子俭曰：“汝任重于朝，行当有八命之礼，我若复此授，则一门有二台司，实可畏惧。”乃固辞不拜，上优而许之。改授侍中、特进、左光禄大夫。客问僧虔固让之意，僧虔曰：“君子所忧无德，不忧无宠。吾衣食周身，荣位已过，所惭庸薄无以报国，岂容更受高爵，方贻官谤邪！”兄子俭为朝宰，起长梁斋，制度小饼，僧虔视之不悦，竟不入户，俭即毁之。
永明三年，薨。僧虔颇解星文，夜坐见豫章分野当有事故，时僧虔子慈为豫章内史，虑其有公事。少时，僧虔薨，慈弃郡奔赴。僧虔时年六十。追赠司空，侍中如故。谥简穆。
其论书曰：“宋文帝书，自云可比王子敬，时议者云'天然胜羊欣，功夫少于欣'。王平南廙，右军叔，过江之前以为最。亡曾祖领军书，右军云'弟书遂不减吾'。变古制，今唯右军、领军；不尔，至今犹法钟、张。亡从祖中书令书，子敬云'弟书如骑骡，骎骎恒欲度骅骝前'。庾征西翼书，少时与右军齐名，右军后进，庾犹不分，在荆州与都下人书云'小儿辈贱家鸡，皆学逸少书，须吾下，当比之'。张翼，王右军自书表，晋穆帝令翼写题后答，右军当时不别，久后方悟，云'小人几欲乱真'。张芝、索靖、韦诞、钟会、二卫并得名前代，无以辨其优劣，唯见其笔力惊异耳。张澄当时亦呼有意。郗愔章草亚于右军。郗嘉宾草亚于二王，紧媚过其父。桓玄自谓右军之流，论者以比孔琳之。谢安亦入能书录，亦自重，为子敬书嵇康诗。羊欣书见重一时，亲受子敬，行书尤善，正乃不称名。孔琳之书天然放纵，极有笔力，规矩恐在羊欣后。丘道护与羊欣俱面受子敬，故当在欣后。范晔与萧思话同师羊欣，后小叛，既失故步，为复小有意耳。萧思话书，羊欣之影，风流趣好，殆当不减，笔力恨弱。谢综书，其舅云紧生起，是得赏也，恨少媚好。谢灵运乃不伦，遇其合时，亦得入流。贺道力书亚丘道护。庾昕学右军，亦欲乱真矣。”又着《书赋》传于世。
第九子寂，字子玄，性迅动，好文章，读《范滂传》，未常不叹挹。王融败后，宾客多归之。建武初，欲献《中兴颂》，兄志谓之曰：“汝膏梁年少，何患不达？不镇之以静，将恐贻讥。”寂乃止。初为秘书郎，卒，年二十一。
僧虔宋世尝有书诫子曰：
知汝恨吾不许汝学，欲自悔厉，或以阖棺自欺，或更择美业，且得有慨，亦慰穷生。但亟闻斯唱，未睹其实。请从先师听言观行，冀此不复虚身。吾未信汝，非徒然也。往年有意于史，取《三国志》聚置床头，百日许，复从业就玄，自当小差于史，犹未近彷佛。曼倩有云：“谈何容易。”见诸玄，志为之逸，肠为之抽，专一书，转诵数十家注，自少至老，手不释卷，尚未敢轻言。汝开《老子》卷头五尺许，未知辅嗣何所道，平叔何所说，马、郑何所异，《指例》何所明，而便盛于麈尾，自呼谈士，此最险事。设令袁令命汝言《易》，谢中书挑汝言《庄》，张吴兴叩汝言《老》，端可复言未尝看邪？谈故如射，前人得破，后人应解，不解即输赌矣。且论注百氏，荆州《八帙》，又《才性四本》、《声无哀乐》，皆言家口实，如客至之有设也。汝皆未经拂耳瞥目，岂有庖厨不脩，而欲延大宾者哉？就如张衡思侔造化，郭象言类悬河，不自劳苦，何由至此？汝曾未窥其题目，未辨其指归--六十四卦，未知何名；《庄子》众篇，何者内外；《八帙》所载，凡有几家；《四本》之称，以何为长--而终日欺人，人亦不受汝欺也。由吾不学，无以为训。然重华无严父，放勋无令子，亦各由己耳。汝辈窃议亦当云：“阿越不学，在天地间可嬉戏，何忽自课谪？幸及盛时逐岁暮，何必有所减？”汝见其一耳，不全尔也。设令吾学如马、郑，亦必甚胜；复倍不如今，亦必大减。致之有由，从身上来也。汝今壮年，自勤数倍许胜，劣及吾耳。世中比例举眼是，汝足知此，不复具言。
吾在世，虽乏德素，要复推排人间数十许年，故是一旧物，人或以比数汝等耳。即化之后，若自无调度，谁复知汝事者？舍中亦有少负令誉弱冠越超清级者，于时王家门中，优者则龙凤，劣者犹虎豹，失荫之后，岂龙虎之议？况吾不能为汝荫，政应各自努力耳。或有身经三公，蔑尔无闻；布衣寒素，卿相屈体。或父子贵贱殊，兄弟声名异。何也？体尽读数百卷书耳。吾今悔无所及，欲以前车诫尔后乘也。汝年入立境，方应从官，兼有室累，牵役情性，何处复得下帷如王郎时邪？为可作世中学，取饼一生耳。试复三思，勿讳吾言。犹捶挞志辈，冀脱万一，未死之间，望有成就者，不知当有益否？各在尔身己切，岂复关吾邪？鬼唯知爱深松茂柏，宁知子弟毁誉事！因汝有感，故略叙胸怀。
张绪，字思曼，吴郡吴人也。祖茂度，会稽太守。父寅，太子中舍人。绪少知名，清简寡欲，叔父镜谓人曰：“此儿，今之乐广也。”州辟议曹从事，举秀才。建平王护军主簿，右军法曹行参军，司空主簿，抚军、南中郎二府功曹，尚书仓部郎。都令史谘郡县米事，绪萧然直视，不以经怀。除巴陵王文学，太子洗马，北中郎参军，太子中舍人，本郡中正，车骑从事中郎，中书郎，州治中，黄门郎。
宋明帝每见绪，辄叹其清淡。转太子中庶子，本州大中正，迁司徒左长史。吏部尚书袁粲言于帝曰：“臣观张绪有正始遗风，宜为宫职。”复转中庶子，领翊军校尉，转散骑常侍，领长水校尉，寻兼侍中，迁吏部郎，参掌大选。元徽初，东宫罢，选曹拟舍人王俭格外记室，绪以俭人地兼美，宜转秘书丞，从之。绪又迁侍中，郎如故。
绪忘情荣禄，朝野皆贵其风。尝与客闲言，一生不解作诺。时袁粲、褚渊秉政，有人以绪言告粲、渊者，即出绪为吴郡太守，绪初不知也。迁为祠部尚书，复领中正，迁太常，加散骑常侍，寻领始安王师。升明二年，迁太祖太傅长史，加征虏将军。齐台建，转散骑常侍，世子詹事。建元元年，转中书令，常侍如故。
绪善言，素望甚重，太祖深加敬异。仆射王俭谓人曰：“北士中觅张绪，过江未有人，不知陈仲弓、黄叔度能过之不耳？”车驾幸庄严寺听僧达道人讲，座远，不闻绪言，上难移绪，乃迁僧达以近之。寻加骁骑将军。欲用绪为右仆射，以问王俭，俭曰：“南士由来少居此职。”褚渊在座，启上曰：“俭年少，或不尽忆。江左用陆玩、顾和，皆南人也。”俭曰：“晋氏衰政，不可以为准则。”上乃止。四年，初立国学，以绪为太常卿，领国子祭酒，常侍、中正如故。绪既迁官，上以王延之代绪为中书令，时人以此选为得人，比晋朝之用王子敬、王季琰也。
绪长于《周易》，言精理奥，见宗一时。常云何平叔所不解《易》中七事，诸卦中所有时义，是其一也。
世祖即位，转吏部尚书，祭酒如故。永明元年，迁金紫光禄大夫，领太常。明年，领南郡王师，加给事中，太常如故。三年，转太子詹事，师、给事如故。绪每朝见，世祖目送之。谓王俭曰：“绪以位尊我，我以德贵绪也。”迁散骑常侍，金紫光禄大夫、师如故。给亲信二十人。复领中正。长沙王晃属选用吴兴闻人邕为州议曹，绪以资籍不当，执不许。晃遣书佐固请之，绪正色谓晃信曰：“此是身家州乡，殿下何得见逼！”七年，竟陵王子良领国子祭酒，世祖敕王晏曰：“吾欲令司徒辞祭酒以授张绪，物议以为云何？”子良竟不拜，以绪领国子祭酒，光禄、师、中正如故。
绪口不言利，有财辄散之。清言端坐，或竟日无食。门生见绪饥，为之辨餐，然未尝求也。卒时年六十八。遗命作芦葭轜车，灵上置杯水香火，不设祭。从弟融敬重绪，事之如亲兄，赍酒于绪灵前酌饮，恸哭曰：“阿兄风流顿尽！”追赠散骑常侍、特进、金紫光禄大夫。谥简子。
子克，苍梧世正员郎，险行见宠，坐废锢。
克弟允，永明中安西功曹，淫通杀人，伏法。
允兄充，永明元年为武陵王友，坐书与尚书令王俭，辞旨激扬，为御史中丞到捴所奏，免官禁锢。论者以为有恨于俭也。
案建元初，中诏序朝臣，欲以右仆射拟张岱。褚渊谓“得此过优，若别有忠诚，特进升引者，别是一理，仰由裁照。”诏“更量”。说者既异，今两记焉。
史臣曰：王僧虔有希声之量，兼以艺业。戒盈守满，屈己自容，方轨诸公，实平世之良相。张绪凝衿素气，自然标格，搢绅端委，朝宗民望。夫如绪之风流者，岂不谓之名臣！
赞曰：简穆长者，其义恢恢；声律草隶，燮理三台。思曼廉静，自绝风埃；游心爻系，物允清才。