唐俭字茂约，是并州晋阳县人。祖父唐邕，任北齐尚书左仆射。父亲唐鉴，出任隋戎州刺史，与高祖相善，曾同掌禁卫。因此唐俭素与秦王交游，同在太原。
唐俭爽直豪迈，不循规矩，但侍奉亲人以孝闻名。见隋朝政局渐乱，暗地劝说秦王建立大计。高祖曾招访过他，唐俭说：“您长相有日角龙廷，姓氏又合乎图谶，久系天下人望。如果外招豪杰，北连戎狄，右收燕、赵，渡河南下，占据秦、雍之地，这就是汤、武的大业了。”高祖说：“汤、武之事，岂可希求？但天下正乱，言私应当图谋自全，言公则应拯救天下百姓，我将为您考虑此事。”到大将军府开建时，授职为记室参军、渭北道元帅司马。随从平定京师，任职相国府记室，封为晋昌郡公。
武德初年，进职为内史舍人，后迁任中书侍郎、散骑常侍。吕崇茂占据夏县造反，与刘武周连兵，下诏永安王孝基、独孤怀恩、于筠率兵进讨，唐俭因出使到达军中。恰逢孝基等人被武周擒获，唐俭也被抓。起初，怀恩屯驻蒲州，暗地与部将元君实谋反，此时一起陷没入贼。
君实私下对唐俭说“：独孤尚书准备起兵图谋大事，犹豫不发，故逢此难。这就是古人说的‘当断不断、反受其乱’了。”不久怀恩逃归朝廷，下诏仍守蒲州。君实说“：独孤脱难得归，仍旧戍守河东郡，真是王者不死啊！”唐俭怕怀恩作乱，密令刘世让归朝告发其谋。恰遇高祖驾临蒲津，船到中流而世让赶到，高祖大惊说：“岂非天命佑护啊！”下令返回西岸，收捕谋反之徒，怀恩自杀，余党全被诛杀。不久武周战败，逃往突厥。唐俭封存府库财物、登记兵器铠甲，以等待秦王接收。
高祖嘉奖唐俭身受幽禁折辱而不忘朝廷，下诏恢复原职，仍任并州道安抚大使，允许他权宜行事。并将怀恩的家产全都赐予唐俭。还京后授职礼部尚书、天策府长史、检校黄门侍郎，封为莒国公。仍旧任职为遂州都督，食绵州实封六百户。
贞观初年，出使突厥返回，太宗对唐俭说“：您看颉利可以攻取吗？”唐俭回答说“：依仗国家威灵，其事可望成功。”贞观四年(630)，乘驿车驰往突厥诱使他们归附，颉利表示同意，因而兵众弛懈，李靖乘势袭破其众，唐俭脱身返回。
一年后，就任民部尚书。随从太宗在洛阳苑中射猎，一群野猪从林中冲出，太宗射出四支箭，杀死四只野猪。有只野猪跃起触及马镫，唐俭下马搏击，太宗拔剑斩断野猪，回头笑着说：“天策长史没见过上将杀贼吧，为何这样害怕？”唐俭回说“：汉高祖在马上得天下，而不在马上治天下。陛下以神武平定四海，怎能再逞雄心于一头野兽呢？”太宗为此而罢猎。下诏命其子善识娶豫章公主为妻。
唐俭居官不留心事务，常与宾客纵酒为乐。曾因犯小法贬授光禄大夫。永徽初年离休，加爵为特进。显庆元年(656)去世，时年七十八岁。赠予开府仪同三司、并州都督，陪葬于昭陵，谥为襄。
少子唐观，任职为河西县令，最为知名。