霍韬，字渭先，广东南海人。考中正德九年(1514)会试的第一名后，提名候补，就返回家乡结婚，然后在西樵山刻苦读书，对经史等学问融会贯通。
世宗即位后，任用他做了职方主事。当时杨廷和还在执政，霍韬上书说：“内阁大臣的职务是参与机要事务的，现在却只是拟定文书，对军政大事的裁决权归属于宦官。内阁大臣失去了参与议定的权力，宦官出现了干预政治的苗头。从今以后的奏章，请陛下把大臣召集来当面决定以后施行，讲官、台谏也排列左右，大家共同商议，或赞成或反对，事情公开办理。这样内阁大臣就有了去恶取善的声望，宦官也避免了别人对他们揽权的批评。”进而说到锦衣卫不应当掌管刑罚，东厂不应当参与朝廷中的事务讨论，抚按兵备官不应当凭军功晋级、荫封，兴王府的护卫军不应当全部召来京城授予官职，御史谢源、伍希儒以身赴难有功无罪不应罢免，平定宸濠叛乱的功绩除安庆、南昌以外不应当滥评。世宗高兴地听取了他的意见。
等到关于“大礼”的争论开始后，礼部尚书毛澄坚决认为世宗应该称孝宗为考，霍韬私下写了一篇《大礼议》反驳这种观点。毛澄写信给霍韬质问他，霍韬多次写信给毛澄，极力论说毛澄的错误。过后，他认识到毛澄的意见无法转变，就在那年十月递上奏章说：
“按大臣们议定，认为陛下应当称孝宗为父，兴献王为叔，另外选崇仁王的一个儿子做献王的后裔。这种观点，根据古礼考较是不适合的，根据圣贤之道来比照是说不通的，根据现在的事实来考虑是名实不相随的。
“查《仪礼·丧服》篇说“：过继给人做后裔就给人穿最重的丧服斩衰。”又说：“过继给人做后裔，要替自己的父母进行报祭。”这里对过继的对象，好像没有称他们为父母的意思，对于亲生父母也没有改称伯、叔父母的说法。汉儒不懂《丧服》篇的意思，炮制谬论说什么“过继给人就是人家的儿子”。果真像他们所说，那么汉宣帝应当是昭帝的儿子。但是事实上昭帝是从祖，宣帝是从孙，孙子难道可以称祖为父？唐宣宗应当是武宗的后裔了，但是事实上武宗是侄儿，宣宗是叔父，叔父反过来称侄儿为父，可以吗？吴诸樊兄弟四个把国家依次传承，大概可以说是互为后继人了，这样说兄弟四个一是高祖，一是曾祖，一是祖父，一是考，可以吗？所以说这种观点，根据古礼考较是不适合的。
“天下是天下所有的人的天下，不是一个人的私产。宋朝人对他们的英宗皇帝说：‘仁宗从宗室亲人中特别选择您，把国家传给您，您能身穿龙袍头戴王冠，拥有天下，并传给子孙万代，都是先皇帝的恩惠。’意思大概是说仁宗把天下传给英宗，英宗应该放弃亲生父母而把仁宗作为父母。我运用圣贤之道来看，孟子说舜当天子，假如他父亲瞽瞍杀了人，皋陶把他捉了，舜就会偷偷背了父亲出逃，这样说来应该以父母为重，而以天下为轻。照宋儒所说，就是天下重而父母轻了。所以说这种观点，根据圣贤之道来比照是说不通的。
“武宗继承孝宗坐了十六年天下，孝宗并不是没有后继者。现在硬要陛下再给孝宗做后继者，到底图个什么呢？陛下可以给孝宗当儿子，又有谁来给武宗当儿子呢？孝宗有两个接班人和儿子，武宗却没有接班人，没有儿子，行吗？大臣对于君主和对于父亲是一样的，既不忍心看到孝宗没有后继者，又怎么忍心看到武宗没有接班人呢？如果武宗是哥哥，本来就有资格享受弟弟的祭祀，那么孝宗是伯父，难道没资格享受侄儿的祭祀吗？既然可以越过武宗往上继承孝宗的皇位，难道就不可以一并连孝宗也越过往上直接继承宪宗的皇位？武宗没有儿子，这已是无可奈何的事了。孝宗有儿子，又强要再为他过继一个，绝掉兴献王的后裔，这是不是对孝宗没什么帮助而对兴献王大有损失的事？所以说这种观点，根据现在的事实来考虑是名实不相随的。
“不过我提出这种意见有三点原因：一是破除前代故事给人的拘束；二是不忘孝宗的恩德；三是避免迎合陛下心意嫌疑。现在陛下已经把孝宗称为考，又把兴献王尊崇为帝，事情就这样算完了吗？我私下认为帝王之间的继承，只是继承王位而已，本来就不必斤斤计较父子的称呼。只有继承王位，才能使孝宗的谱系不绝，就连武宗的谱系也不绝。但是仅仅如此吗？不。这样陛下对兴献王还可以改正父子之称号，不断绝兴献王天生的大恩；对于国母的欢迎，也能改正为对天子的母亲应有的礼仪。假如再对昭圣太后、武宗皇后能用正确的方式对待，尽心中的诚意来侍奉，那么尊敬尊贵的人，亲爱亲近的人，这两条就都没有违误了。”
世宗接到这篇奏疏后心中很高兴，迫于大臣们的舆论压力不敢马上实施。可是朝廷中大臣们都指责霍韬炮制邪说，霍韬心中不自在，很快就告病回家去了。
嘉靖三年(1524)，世宗更加急切地要尊崇自己的亲生父母，两次发布诏书召霍韬进京。霍韬用生病为理由推辞，不肯赴京，飞章上奏说：“现在关于‘大礼’的争议，无非争两个方面：一是尊崇王位正统的大道理，二是要纠正人伦关系的大准则。只尊崇王位正统，弊端在于有利于国家却抛弃了父母；只重视天伦，弊端是使地位本来低的凌驾于尊贵之上。所以我认为陛下应该称孝宗为皇伯考，献帝为皇考，这是应加分别的人伦关系。尊崇亲生父母的讨论，姑且可以往后放一放，这是因为王位正统应该优先尊崇。我认为陛下对昭圣皇太后，所用的礼仪等级虽然崇高，但势头越来越轻微了。陛下对待自己母亲，名号虽然还没有尊贵到极点，但势头越来越重要了。大臣们所以不依不饶要您尊崇嫡系，以昭圣皇太后为母亲，大概是为了防范陛下将来的过失，并用以作为报效孝宗皇帝应尽的本分。希望陛下把我们提此建议的衷情禀告圣母，就说昭圣皇太后事实上是正统、嫡亲，她的地位尊贵无比，希望圣母能经常谦退一些，对昭圣表示尊敬的意思。庄奉皇后当了十六年的国母，圣母接见她的礼仪不可轻忽，凡是元旦、贺寿，圣母要经常表现出谦让、不敢接受庄奉大礼的意思，让宫廷内部的大权全归昭圣皇太后掌握，圣母像不参与的样子，那么天下人和后代人就会称颂圣母的美德，就像称颂老天一样没有停止的那一天了。”世宗深深赞扬他奏疏中表现出来的忠诚，就催促他回到朝廷去。第二年，提拔他为少詹事兼侍讲学士。霍韬坚决推辞，并且请求诏令六部尚书、侍郎、翰林、给事中、御史都应该出任地方官职，以便他们熟悉政治局势；监司、守令政绩突出的，就应提拔为卿丞，有文才、学识的提拔为翰林官；科举、贡选入官的都可以提为翰林，进入部院，不应该局限于资格。世宗不允许他的推辞，催派他上任，把他的奏议下发给有关部门讨论，结果全部被废置，没有采用。
六年(1527)，霍韬回到朝廷里，世宗命令他到经筵前值勤，担任日讲官。霍韬因为自己的南方口音竭力推辞，请求让他撰写《古今政要》及《诗书直解》，然后进呈。世宗表示赞许。那年九月，世宗提拔他做詹士兼翰林学士，霍韬又极力推辞，说：“从杨荣、杨士奇、杨溥直到李东阳、杨廷和都把握权柄，培植党羽，把翰林笼络来做下属，中书做幕僚，所以翰林的升任不经过吏部，而中书甚至有升官做到尚书的。我曾经建议把翰林任免的权力归属吏部，以期他们不暗中投靠内阁，做内阁大臣的心腹；内阁也无法暗中勾结翰林做他们的羽翼。并且想把京官调补地方上做官，以便劳逸均平。我的建议还没采用，我自己就先登翰林之门，而且又忝居学士徐缙之上，该有什么比这还难为情的？”世宗颁诏嘉奖，但不允许他辞让。
第二年四月，世宗又升用他为礼部右侍郎。霍韬极力辞让，并且推荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何塘替换自己，世宗不允许，他两次推辞，才得到允准。六月“，大礼”议定，破格任命他为礼部尚书，主管詹事府的事务。霍韬于是上书说翰林院编书升官、日讲荫子以及巡抚子弟荫封为武官的不恰当，然后说自己虽然不能挽救这些错失，但不愿跟随大流。并且言称给事中陈..受了冤屈，推荐国子监学生陈云章有才干，可以任用做官。世宗颁诏称赞了他，但不许他推让。霍韬又上书说“：现在持不同政见的人们以为陛下只是想尊崇自己的父王，就拿官职、爵位来诱引自己的臣下；我们两三个人只是苟且贪图高官显爵，所以迎合了陛下的心思。我曾经慷慨地对自己发过誓：如果‘大礼’最后定下来，我决不接受加官，让天下人和后代人看到讨论‘大礼’的大臣并不是图谋私利的官员。假使让人们怀疑讨论‘大礼’的大臣是图谋私利的官员，那么由这些人议定的‘大礼’即使正确，人家也还是认为不正确，怎么才能使人不说呢？”因此他坚持辞让不肯就职，世宗还是不允许，经再三推辞，世宗最后同意了他。
霍韬先后推荐过王守仁、王琼等人，世宗都采纳了他的意见。他又曾因为灾异的发生上书陈述十多条革除弊政的意见，大多经讨论被实施。张璁、桂萼被免除职务时，霍韬上书说谏官陆粲等人是受杨一清指使的，他两次上书猛烈攻击一清，结果一清被削职，而张璁、桂萼被召了回来。世宗听取夏言的建议，将分开来祭祀天和地，修建两座郊祀台，霍韬极力说这样子不对。世宗不高兴了，批评他蒙骗君上，自以为是。夏言也上书替自己辩护，猛力抨击霍韬。霍韬一贯注意保持以前的印象，以便自我施展，现在看到世宗生了气，就不敢辩解了，却送给夏言一封信，把他痛痛地抨击了一番，又把那封信抄录一份送交法司。夏言恼了，上书对世宗讲了这件事，并且揭发了霍韬目无君主的七条罪行，连带霍韬的来信一起交了上去。世宗大为恼火，批评霍韬诽谤、嘲笑君上，心术不正，丑化好人，就把他关进了都察院的监狱。霍韬自己从狱中上书哀求宽恕，张璁也两次上书救他，世宗都不听。南京御史邓文宪上书说应该看到霍韬的善良愿望，包涵他的戆直，并且说把天和地分开来祭祀等于是把父母安置在不同的地方，让后妃到郊外亲自养蚕就是废除了男女、内外之间应有的防范。世宗恼了，把他贬官到远方。霍韬在监狱中关了一个多月，世宗最后想到了他当初议定“大礼”的功劳，就让他捐输资财赎罪还职。不久他因为母亲去世回乡去了。广东佥事龚大稔后来上书攻击霍韬和方献夫在家乡干下的违法事件，龚大稔反倒被逮捕，削了官籍。
十二年(1533)，霍韬复出，先后做过吏部左、右侍郎。当时吏部的事情大多都由尚书做主，两个侍郎一般无法干预。霍韬向尚书汪钅宏争取，侍郎才获得了参议部事的机会。霍韬一向刚愎自用，多次与汪钅宏争斗，汪钅宏等人也很惧怕他。不多久汪钅宏罢官，世宗长期不另外任命尚书，就让霍韬主持吏部的事务。内阁大臣李时有一次传达世宗的意思，要任用鸿胪卿王道中为顺天府丞。霍韬说：“内阁大臣得到过皇上指示，这本没什么可疑的，但是我们还是应当再行奏请，以便杜绝弄虚作假。”于是按照惯例，开列道中和应天府丞郭登庸两个人的名字，让世宗审定。世宗喜欢他办事照规矩来，就任用了登庸，把道中改任大理少卿。过了很久，世宗让霍韬出任南京礼部尚书去了。
霍韬前已和夏言结了怨，等夏言掌权以后，霍韬常常想找些事来陷害他。一次他上书说“：不久前吏部打算推举刘文光等人做给事中，没几天忽然又宣布作废了，大家都说是内阁大臣压了他们。给事中李鹤鸣在考核时被贬了官，没有几天又官复原职，大家都说是经过行贿得来的。陛下应该告诫吏部官员，叫他们不要受执政暗中指使，好让天下人看到恩惠和刑罚都在朝廷掌握中，大臣中间即使有李林甫、秦桧那样的人，也不能够在皇上身边随意捣鬼。”他的话是针对夏言而说的。于是鹤鸣上书自我表白，并列举了霍韬居住在家乡时干下的许多违法事件。世宗把两边都搁下不问。没过多久，霍韬弹劾南京御史龚..、郭本。龚蔔等为自己辩解的同时也上书弹劾霍韬，世宗又一次搁下，对双方都不追究。
十八年(1539)，朝廷选拔东宫官员时，任命霍韬以太子少保、礼部尚书的官衔掌管詹事府的事务。霍韬上书辞谢给自己的晋升，并且批评说有些大臣接受俸禄不肯谦让，晋升官职也不推辞，其中难免有拉帮结派祸国殃民的奸人，暗中巩固自己的权威。百姓的怨气引来天灾，在人事方面实际上是有原由的。他的意思还是针对夏言而发的。他自己屡次攻击夏言不能取胜，最后见郭勋与夏言有矛盾，就暗中勾结郭勋，和他一道谄害夏言。当时朝廷内外风言四起说世宗又要南巡，霍韬借此上书明显地赞颂郭勋，说：“上次陛下南巡时，跟随的大臣大多都收受贿赂、不守法度。文官只有袁宗儒，武官只有郭勋没有接受馈赠。现在谣言又兴起来，应该采取一定办法加以制止。”世宗在颁布诏书稳定人心以后，才责问霍韬说：“我前次南巡你又没跟着，别人受贿的事你从哪儿听说的？你如实给我奏上来。”霍韬回答时请世宗向郭勋询问此事。世宗批评他支吾其辞，务必要他切实指出来。霍韬走投无路了，只好说：“随从大臣们无不接收馈赠、亏损直性的仆役，这事只要问夏言就可以了。至于各人收取贿赂的实际情况，郭勋都整个知道，应该不是骗人。如果一定要我说，请让我担任都察院的职务，顺藤摸瓜进行追查，我一定详细地列出来奏上。”他的奏章被下发给有关部门。霍韬怕自己的奏议不合世宗的意思，很快就赶到了北京，上书述说进贡鲜货的船上宦官贪婪、横暴的事情，世宗也不加查问。第二年十月，霍韬死在任上，终年五十四岁。朝廷追赠他为太子太保，谥文敏。
霍韬学问广博，本领很大，但肚量狭窄，所到之处总是与人争斗。世宗心中很有点厌恶他，所以没有太重用他。不过霍韬前前后后有过很多奏议，其中很有一些同国家大计有关。并且他还推荐过“大礼”一案被治罪的大臣们和被除了名的李梦阳、康海等。在南都做官时，他禁止守丧的人家设宴饮酒，不许妇女出家当尼姑、道姑，惩办娼户买良家的女子，拆毁多余的祠堂庙宇，兴建社学，遣散和尚、尼姑，表彰忠臣烈士等。他离开以后，当地士绅、百姓还思念他呢。霍韬开始与张璁、桂萼结交，不久又与郭勋拉扯。他在毛澄主考时中进士，素来向毛澄行弟子之礼，由于在“大礼议”中意见不一致，于是再也不称毛澄为恩师了。等到他主考己丑(1529)会试，也不认唐顺之等人为门生。他在议论大礼时，抨击司马光，以致追论不可将司马光列入孔庙陪祀。霍韬就是这样不顾公论，自以为是。