谢灵运，是安西将军谢弈的曾孙、谢方明的侄子。祖父谢玄，是晋朝的车骑将军。父亲谢..，生下来就不聪明，位居秘书郎，死得早。谢灵运幼年就很聪颖，有悟性，谢玄十分诧异，对亲近好友说：“我生了个谢..，..的儿子怎么就一定赶不上我！”
谢灵运少年好学，博览群书，文章的美妙，和颜延之同为江东第一。纵横俊发超过颜延之，而深细密致则不如他。堂叔谢混特别赏识和喜爱他。袭封为康乐公，因为是国公而照例任命为员外散骑侍郎，没去就任，做了琅笽王大司马行参军。他性格奢侈，车辆衣服十分鲜丽，衣物大多改变旧的形状样式，社会上都很尊崇他，都称他为谢康乐。逐渐升迁为秘书丞，因为出事而免官。
宋武帝在长安，谢灵运担任世子中军咨议、黄门侍郎，奉了命令出使到彭城去慰劳武帝，作了一篇《撰征赋》。后来做相国从事中郎、世子左卫率，因为随便杀死仆役而免官。宋朝承受天命后，把他的爵位从公降为侯，重又做了太子左卫率。
谢灵运经常丧失礼度，朝廷只是把他作为文学人物对待，不把实权性的官职给他。他认为自己的才能可以参掌重权，却不被赏识，常常怀着愤懑和怨恨。庐陵王刘义真少年时候就喜欢文籍，和谢灵运感情异常诚恳。少帝即位，权力掌握在大臣手里，谢灵运制造矛盾，毁谤朝政，司徒徐羡之等人厌恨他，便把他调出京城去担任永嘉太守。郡中有名山名水，谢灵运平素非常爱好。出任太守既然很不得志，于是便肆意遨游，走遍了各县，常常超过十天或一月。对管理民众、听取诉讼的事，不再关心，所到之处就是以咏诗来寄托自己的心意。
在郡中呆了一整年，便称说有病，辞去职务，他的堂弟谢晦、谢曜、谢弘伟等都给他写信劝阻，不听。谢灵运的父亲和祖父都葬在始宁县，都有旧宅和别墅，于是便把户籍迁移到会稽，修缮和营造旧时的住处。依傍青山，靠近江水，可以尽享幽居的美妙。他与隐士王弘之、孔淳之等以放荡为娱乐，有就此度完一生的志向。他每有一首诗传到京城，不论贵人贱人无不争着抄写，旦夕之间士人和平民都会传遍，名声惊动京城，他曾作《山居赋》，并且加有自注叙述这件事情。
文帝杀了徐羡之等人，征调他做秘书监，两次征召都没有前去。便让光禄大夫范泰给他写信敦促鼓励，才出来就任。让他在秘书阁书写遗缺的文字，又让他撰写《晋书》，粗略地立好了提纲，而书最后没有写成。不久调任侍中，奖赏和待遇都很丰厚。谢灵运的诗和书法都很独绝，每次文章作罢，就自己把它写下来，文帝称为二宝。既然自以为是名流，就应该参与朝政，但是到现在只是被以文学的身份对待；常常陪同皇上宴饮，不过就是闲谈欣赏。王昙首、王华、殷景仁等人的名位素来都不超过他，却都被赏识重用，心里很不平衡，于是常常声称有病而不上朝值班。开凿水池、设置园林、种植竹子、栽培果树，赋税徭役，不再去催促如期完成。出城游玩，有时远达一百六七十里，十几天不归。既没有上表，也不请假。皇上不愿意伤害大臣，委婉地暗示让他自己辞职。谢灵运上表陈说自己有病，赐给他假期东归。将要走的时候，又上书劝朝廷讨伐黄河以北。而游玩宴集，仍然夜以继日。又被御史中丞傅隆参奏免官，这一年，是元嘉五年(428)。
谢灵运到了东部以后，和族弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璇之以文章互相欣赏聚会，共同进行山泽旅游，当时的人称他们为四友。谢惠连自幼就有奇才，不为他的父亲谢方明所知。谢灵运离开永嘉回到始宁，当时谢方明为会稽太守，谢灵运去拜访谢方明，遇到了谢惠连，大加赏识。谢灵运的性格平时无所推重，只器重谢惠连，和他结为生死之交。当时何长瑜教谢惠连读书，也在郡内，谢灵运又以为是绝伦之才。他对谢方明说：“阿连有这样的才能和悟性，而您却当成平常的儿童对待，长瑜是当今的王粲，而您却用对下客的态度对待他。您既然不能礼遇贤士，应该把长瑜还给灵运。”便用车把他拉走了。荀雍字道雍，官做到员外散骑郎。羊璇之字曜..，担任临川内史，被司空竟陵王刘诞所赏识，刘诞失败后株连被杀。何长瑜的才气亚于谢惠连，而荀雍、羊璇之赶不上。临川王刘义庆搜集文士，何长瑜从国侍郎升到平西记室参军。曾经在江陵寄信给族人何勖，用韵语来描述刘义庆州府中的官员说：“陆展染白发，欲以媚侧室，青青不解久，星星行复出。”像这样的有五六句。而轻薄少年于是加以扩展，凡是人士都成为题目，都加上苛苦的诗句，他们的这种文字非常流行。刘义庆大怒，报告了文帝，把他调任广州所统辖的曾城县令。后来刘义庆去世，朝中的士人都到府上去致哀，何勖对袁淑说：“何长瑜就可以回来了。”袁淑说：“封国中刚刚失去了皇族的英才，不应该就考虑流放人员。”庐陵王刘绍镇守寻陽，任命何长瑜为南中郎行参军，掌管书记工作。路上走到板桥，遇到暴风落水而死。
谢灵运凭借祖父的产业，生活的资本很丰厚，奴僮很多，旧时仆役几百人，凿山浚湖，工程不断。寻山攀岭，一定要登上幽僻高峻之处，岩嶂几十重，无不全部走到。攀登常常穿着木屐，上山的时候就去掉它的前齿，下山的时候就去掉它的后齿。他曾从始宁南山伐树开路，直到临海，跟随的有几百人，临海太守王臔很吃惊，以为是山贼，最后知道是谢灵运才安下心来。谢灵运又邀请王臔继续前进，王不肯。谢灵运赠王臔诗说：“邦君难地山佥，旅客易山行。”在会稽也有众多的随从，惊动了全县。太守孟靑奉佛十分虔诚，而被谢灵运所轻视，他曾经对孟靑说：“要想得道必须具有天赋的慧业，丈人您升天肯定在我的前面，而成佛必然在我的后面。”孟靑对这话深为憎恨。谢灵运又与王弘之等人出去到千秋亭饮酒，赤裸着身体大声喊叫，孟靑深深感到不能忍受，写信向他们提出。谢灵运大怒说：“我们自己大叫，跟痴人有什么关系？”
会稽东城有个回踵湖，谢灵运请求放水开为田地，文帝让州郡实行。这个湖离城郭很近，对于湖中的水产，百姓们感到很可惜，孟靑坚持不给。谢灵运得不到回踵湖，又请求把始宁的休山皇湖开为田地，孟靑又坚决不让。谢灵运说孟靑并不是打算有利于民众，而是顾虑决开湖水会害死水中许多生命，于是便用言论对他进行攻击。谢灵运与他便产生了矛盾。借着谢灵运的横行放肆，孟靑上表说他心有异志，发兵自己进行防守，并且上报朝廷。谢灵运骑马到宫中上表，自己陈述事情的原委。文帝知道他是被诬陷，并不降罪。也不想让他东归，任命为临川内史。
他在临川的游玩放浪，不异于在永嘉，被有关部门所纠弹。司徒派遣使者随州从事郑望生拘捕了谢灵运。谢灵运兴兵叛逃，于是便有了造反的志向。他写诗说：“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。”官兵追讨，捉住了他，送交给廷尉，廷尉论为斩刑。皇上爱他的才能，打算只是将他免官。彭城王刘义康坚持，认为不应宽恕。诏令说“谢玄功勋可比管仲，应该宽大处理他的后代，把死刑降为流放广州”。
后来秦郡的府将宋齐接受委派到了涂口，走到桃墟村，见有七个人离开大路聚在一起私语，怀疑不是平常的人，回去报告了郡县衙门，于是便派兵随宋齐突袭抓住了他们。其中一个人姓赵名钦，说“同村的薛道霜先前和谢灵运共事，薛道霜通过同村的成国告诉我说：‘谢灵运犯了事流放到广州，给钱让买弓箭刀盾等东西，让道霜邀合乡村中的强壮男子，在三江口把他抢夺过来。如果能得志如愿，功劳是共同的。于是聚合同党，抢夺谢灵运，没有成功，等回来后非常饥饿，便在路上进行抢劫’。”有关部门奏请逮捕了谢灵运，文帝诏令在广州处死示众。他在临死的时候作诗说：“龚胜无余生，李业有终尽，嵇公理既迫，霍生命已殒。”其中所说的袭胜、李业，就像前首诗所说的子房、鲁连的意思。当时是元嘉十年(433)，年龄四十九岁。他所著的文章流传在世。