赵世卿，字象贵，历城人。隆庆五年(1571)的进士。授职为南京兵部主事。
张居正执政，治政严格。州县学选取士子不得超过十五人；布政使司与按察使司以下的官吏，虽然是公事也不许乘驿马；处死的刑罚，每年有定额；征赋以九分为标准，如不及格有关部门要受罚；又屡次重责议论事情的人。赵世卿上奏纠正当时的五件重要的事。请求扩大取士的名额，放宽驿车的禁例，减少处死刑罚，延缓对科税的催征，而最后极力疏论应该广开言路，称：“现在的台谏习惯阿谀奉承，以便希求一生受宠幸。有关军务国政，就舌头卷曲悄然无声。徒然拣取不紧急的事情，姑且搪塞责备的言辞。过了几年，居然高踞公卿之位，炫耀于士林。难道这些人都是没有志气节操忍心辜负陛下吗？是有所惩戒而不敢作为呀。像往年的傅应祯、艾穆、沈思孝、邹元标都因为建议言事而流放他乡，至今仍与戍卒为伍。现在的有才之士，所以自顾怜恤，宁愿自己与寒蝉比附。皇上应该特别发布圣音，将那些人放回，使天下的人知道圣明天子没有厌恶直言的意思，则士人都仰慕大义，尽献忠诚，效忠陛下。”张居正想判他重罪。吏部尚书王国光说：“惩治他正好使他成名，请用他替你树立宽恕的形象。”于是将他调出京城，担任楚府的右长吏。第二年的京官考核，又以不谨慎为名，将他撤职使他回到家乡。
张居正死后，他被起用为户部郎中，出京任陕西副使。调任户部右侍郎，督理仓场。赵世卿工于心计。凡是他所上奏的事，都斟酌了分寸，军务国政有赖于此。户部尚书陈蕖有病，侍郎张养蒙避身不负责事务，皇帝恼怒，将他们一起罢免，而提拔赵世卿任尚书。
当时矿税使为害四方，江西税监潘相竟至于擅自逮捕皇族的宗室。过去的关税收入每年四十多万两，自从被税使控制后，商贾不行，数年之间减少了三分之一，四方的杂税也是如此，每年的收入更少，国家的费用不够，边防储备匮乏，而内府的供需一天天繁多，每年增加二十万两金花银的旧额，宫廷费用一天天充盈起来。世卿请恢复到过去百万两的数额，罢除增加的数目，皇帝不允许。他乞求发放内库一百万两白银以及太仆寺的五十万两马价钱接济边防储备，又违反皇上的心意，受到批评。赵世卿又请求确定潘相的罪行，并与九卿数次陈述他的危害，皇帝都不接受。赵世卿又称百姓脂膏枯竭，乡里萧条，丧乱已可预料，百姓揭竿造反为时不远，现在不及时罢除矿税，恐怕以后来不及了。皇帝都不作理会。
万历三十二年(1604)，苏、淞地区的税监刘成因为水灾请求暂时停征米税。皇帝认为每年六万两的税额，米税占一半，不应该全部停征，限令定额四万两。赵世卿上奏称：“过去已经免除了米税，即刻又再征收，已经失信于天下。现在刘成想免去一半的税额，而陛下完全不依从，难道小宦官尚且存在的恻隐之心，而陛下反而漠然不动心吗？”皇帝没有答复。
当年夏天，雷火烧毁了祖陵的明楼，怪虫侵害树木，大雨又毁坏了神道桥梁。皇帝下诏咨询实际的政务。赵世卿上奏称：
“今天的实际政务，没有比罢除矿税更急切的了。古代的明君不看重奇异的东西，现在却聚积不该收刮的钱财，聚敛百姓的怨恨，何谓节俭？这是为君王的圣德考虑，不能不罢除的第一条原因。过多刮取必然招来罪过，保管疏忽必将招致盗贼。鹿台、巨桥足以导致人们举矛相向的祸害。这是为宗庙社稷考虑，不能不罢除的第二条原因。古代，国家没有危难的事就考虑耕织的事情，有了危急的事就讨论使国家防务巩固的策略。哪有开凿四海诸山，专榷三家市利的，操弓挟矢，杀害善良的百姓，毁室坏垣，祸害波及鸡犬，历经十多年不止。这是为国家本体考虑，不能不罢除的第三条原因。宦官渔猎，帮凶咆哮。毁掘坟墓使枯骨遭殃，奸淫虐待子女使善良人家饮恨。人人生怨，喧哗之声不绝于耳，如此不止，以后将达到何种境地？这是为百姓的困苦考虑，不能不罢除的第四条原因。国家的财富不在民间就在官府，现在全部被搜括到了奸人的家室。所以督促缴纳欠租而欠租不足数，稽查关税而关税亏损，征收盐税而盐税微薄，征收赎金而赎金无存。外府一空，司农如同被清扫般干净。这是为国家的赋税考虑，不能不罢除的第五条原因。天子的命令，如同一年四季一样确定不移。皇上在三年前曾说：‘我的心是仁爱的，自然有停止的时候。’现在年复一年，等到哪天才能停止？天子话如玩笑，那么大王的命令就弃之在草莽之中。这是为诏令考虑，不能不罢除的第六条原因。
“陛下不妨考虑服装膳食、宫阙居室，以及营造征讨，皇上的什么事情不是取之于民？百姓的什么事情不是为皇上服务的？如此赤诚之子，不曾辜负国家，百姓正高兴地满足天子的欲望，而陛下却不稍减您的欲望。百姓正为了供奉天子而奔走、困苦，而陛下也不稍稍慰问他们的辛劳。百姓竭诚解救天子的危难，而陛下不稍稍抚恤他们的艰难。反求于心，必然会自感不安。陛下不要认为愚昧的小百姓可以由您驾驭、生杀予夺，而不值得介意。百姓的心就是老天的心，现在上天频繁谴责，雷电与怪虫、暴雨接踵而来，变乱不会凭空产生，它的应验为时不远了。所以现在要挽回天意就在于体恤民心，要想体恤民心就在于罢除矿税，不需要再考虑以做决定。”
皇帝好言回答，却不施行他的建议。
到了万历三十四年(1606)三月，皇帝才下诏罢除了矿税使，税也稍稍减少了。然而辽东、云南、四川的税使依然如故，官吏百姓深受其苦。于是云南发生变乱，杨荣被杀。而且西北地区也时时报告水旱灾情，赵世卿屡次请求减少租税进行赈济，国家的费用更加不够支付。过了一个月他又奏请从内府费用中提取一百万两资助军费开支，皇帝不听从。赵世卿就接连上奏请求离去，上奏达到十五次，皇帝最终不同意。
在此之前，福王准备完婚，提取户部的二十七万两白银，皇帝仍认为少了，多次派宦官催促，宦官口出粗语，并且弹劾赵世卿违抗命令。赵世卿认为这有辱国家。万历三十六年(1608)，七公主出嫁，索要费用达到数十万两。赵世卿引用先例极力争辩，皇帝下诏减去了三分之一。赵世卿又劝谏：“陛下举行大婚之礼也只用了七万两白银，长公主出嫁只用了十二万两白银，请陛下再做裁减，一样仿效长公主的例子。”皇帝不得已依从了他。福王新造了府第，开设崇文税店，争夺百姓的利益，赵世卿也上书劝阻。
赵世卿素来讲求节操，为官尽职。皇帝一向看重他。吏部尚书空缺，曾派他兼任，他推举官吏没有私心。只是楚王府宗族的人与楚王相互攻击，赵世卿极力称楚王不是伪王，与沈一贯的观点相一致。李廷机辅佐朝政，赵世卿极力推举他。于是朝廷大臣怀疑赵世卿结成党派。因此给事中杜士全、邓云霄、何士晋、胡忻，御史苏为霖、马孟祯等人先后弹劾他，赵世卿便闭门在家请求去职。他上书十多次，皇帝没有答复。万历三十八年(1610)秋天，赵世卿就上疏出城等候命令。第二年十月他乘坐简陋的车子径直离去，朝廷大臣报告皇帝，皇帝也没有怪罪于他。他在家居住七年后去世，朝廷赠他为太子少保。