虞谦，字伯益，金坛人。洪武年间，由国子监生升为刑部郎中，出任杭州知府。
建文年间，虞谦请限制僧道占田数量，规定每人不能超过十亩，多余部分便平均分给贫民。皇上听从了。永乐初年，他被召为大理寺少卿。当时有诏书说，建文年间曾上奏改革旧制的人，现在都要当面向皇上陈述清楚。虞谦于是陈述上述这件事，并请罪。皇上见虞谦害怕，便笑着说：“这不过是秀才批判道、佛而已。”将他放过不问，但僧道限田的规定还是被废除了。都察院讨论欺骗之罪，请准予照洪武年间公布的条例枭首示众。虞谦上奏说“：近来奉诏书要依律断罪，欺骗之罪应判杖打流放，枭首不是诏书之意。”皇上听从了。天津卫仓库失火，烧掉粮食数十万石。御史说是主管的人盗用多了，所以烧仓以掩盖罪迹。逮捕了近八百人，有一百人应判死罪。虞谦说处罚得过滥，结果他们得以减罪。
七年(1409)，皇上北巡，皇太子上奏虞谦为右副都御史。第二年他与给事中杜钦巡视淮安和凤阳，到达陈州灾区，免除该地田租，赎回百姓所卖的子女。第二年，虞谦请求赈灾，太子对他说“：军民极度困敝，而卿等还从容陈请，那汲黯算什么人？”
不久，命虞谦督管两浙、苏州、松江等府粮米，输运到南、北两京和徐州、淮安。富民贿赂有关官员，他们都得运到近地，而贫民多要输运到远地。虞谦建议分为四等：丁多粮最少的运到北京，次少的运到徐州，人丁和租粮相当的运到南京和淮安，丁少粮多的就存留本土。百姓赖此得到便利。他又说：“徐州、吕梁二洪，行船多被阻，请在每洪增加二百名挽夫，每月供给粮食；另拨给一百头官牛，闲暇时听任百姓使用耕作，大船来时，便用来挽船。”人民都觉得方便。他曾监督运木材，当时服役的人严重染上瘟疫，虞谦下令遣散处理，才控制住了瘟疫。不久，他偕同给事中许能巡抚浙江。
仁宗即位后将虞谦召回，改任大理寺卿。当时吕升任少卿，仰瞻任寺丞，而虞谦又推荐严本任寺正。皇上正慎重于用刑，虞谦等人也都悉心奏请，依罪定刑。凡是法司和各地上报的案件，虞谦等人都再四审查，力求其平正。他曾对人说：“他们无憾，我也就无憾了。”他曾响应诏令，上书议论七个事项，都切中时务。有人说他上奏言事不密，向外人示恩买好。皇上怒，把他降为少卿。有一天，杨士奇奏事完毕后，还不想退下。皇上问：“你还想说什么？不是为了虞谦吧？”杨士奇便从头到尾论说虞谦冤枉，并说虞谦历事三朝，很得大臣之体。皇上说“：我也后悔那么做。”于是命令他复职。宣宗即位后，虞谦说：“按照旧制，犯了死罪的人，要罚终身服役。现在犯人所犯罪行不等，应依罪行轻重划分服役年限。”回报说可行。宣德二年(1427)三月，他在任上去世。
虞谦仪表俊美，风采凝重。工于诗画，对自己的才华很自负。工部侍郎苏瓒，为人精鄙猥亵，却位居虞谦之上，虞谦因此常怏怏不乐，人们因此觉得他气量过于狭小。