永州，在当时还是一个人烟稀少、荒凉冷清的地方。永州有一条河叫灌水，灌水的北面有一条小溪，当地人因为溪水可以用来染布，于是叫染溪，有的说姓冉的人曾在那里居住，于是也叫冉溪。柳宗元到了永州之后，因为喜欢那里的美景，就把溪边的一块地买了下来，并把这条小溪改名叫“愚溪”。并在溪边修建房屋，开挖池塘，把周围的丘、泉、沟、池、堂、亭、岛均命名为愚丘、愚泉、愚沟、愚池、愚亭、愚岛。
谈到改名的原因，柳宗元说：溪水方位低下，不能用来灌溉；溪水太急，又多礁石，大船无法进入。幽邃浅狭，蛟龙也不屑于在此停留，不能兴云造雨，对世人没有作用，但是正好适合我。（盖其流甚下，不可以灌溉；又峻急，多坻石，大舟不可入也。幽邃浅狭，蛟龙不屑，不能兴云雨，无以利世，而适类于余）这哪里是在说溪，其实完全是诗人自身命运的写照，紧接着柳宗元继续说：现在我遇到有道明君，做事却不合情理，所以所有的愚人都不如我愚蠢。这样，天下的人都不能与我争夺这溪水，我可以独占它并为它命名了。（今余遭有道而违于理，悖于事，故凡为愚者莫我若也。夫然，则天下莫能争是溪，予得专而名焉。《愚溪诗序》）
柳宗元还为这“八愚”写了《八愚诗》，此诗现已不传，但是他写愚溪的另外一首诗却也可以看出此时作者诗人的心情：
少时陈力希公侯，许国不复为身谋。
风波一跌逝万里，壮心瓦解空缧囚。
《冉溪（公易其名为愚溪者是也）》
刚到永州还不及半年，柳宗元便遭受了一个重大打击：他的母亲卢氏由于无法承受远谪之苦去世了。柳宗元也对永州的气候十分不适应，悲愤、痛苦，再加上几次无情的火灾，使诗人的健康受到极大影响，甚至到了“行则膝颤、坐则髀痹”的程度。处在绝望中的诗人几乎给每一个朝廷大臣都写了信，告诉他们自己的境况，请求帮助，但是大臣们嫉妒他的才华，没有一个为他说话的。司马迁在《报任安书》里，写到自己因李陵之祸下狱受腐刑时有一段惨痛悲怆的话：
家贫，财赂不足以自赎，交游莫救，左右亲近不为一言。
由辉煌的顶点骤然跌入灾难的深渊时，是最可看出人情冷暖和世态炎凉的，柳宗元知道，也许，自己会在这蛮荒之地终老一生了。
可是，也许是命运的捉弄，柳宗元在永州待了十一年，正准备永远在这里待下去的时候，元和十年（815年）正月，柳宗元与刘禹锡被召回京了！对这次被召，柳宗元寄予了莫大的希望。他曾经在《寄许京兆孟容书》中，列举了一大批古代贤人被贬之后又重新被起用的事实，借以寄托自己对未来的期望。也许，此时的诗人认为自己人生的转折点终于到来了。
柳宗元兴冲冲地向京师赶去，走到长安城外灞桥，京城已经在望，柳宗元写下了《诏追赴都二月至灞亭上》：
十一年前南渡客，
四千里外北归人。
诏书许逐阳和至，
驿路开花处处新。
可是，诗人对境况的估计过于乐观了。他们二月回到京城，三月就宣布改贬，柳宗元改贬为柳州（今广西柳州）刺史，刘禹锡为播州（今贵州遵义）刺史，比以前的贬所更加荒凉偏远。可是，当柳宗元知道刘禹锡的贬所时，便想到播州比柳州更艰苦，刘禹锡还有八十岁的老母需要供养，自己母亲的去世使柳宗元推己及人，主动多次上书朝廷，要求与刘禹锡交换贬所，后因宰相裴度说情，刘禹锡改贬连州，柳宗元这才动身前往柳州。
走到衡阳的时候，柳宗元与刘禹锡分别，诗人悲愤写下了《衡阳与梦得分路赠别》
十年憔悴到秦京，谁料翻为岭外行。
伏波故道风烟在，翁仲遗墟草树平。
直以慵疏招物议，休将文字占时名。
今朝不用临河别，垂泪千行便濯缨。
唐代的柳州十分落后荒凉，居民多为少数民族，生活穷困，语言不通。当地陋俗，用子女作为抵押向人借钱，如果到期还没还钱，孩子就沦为奴婢。柳宗元到后，制订了一套释放奴婢的办法，规定已经沦为奴婢的人，可以按时间结算工钱，抵债之后就可以回家和亲人团聚，这个办法不仅受到当地人的欢迎，甚至还推行到其他州县。在柳州任上，柳宗元兴办学堂，推广医学，当地人迷信，不敢动土，柳宗元组织人力，破除迷信，为当地人打了多口井，兴利除弊，造福一方。
可是，长期的贬谪生活已经使诗人的精神面临崩溃的边缘。在永州的时候，诗人就曾说：“孤臣泪已尽，虚作断肠声。”（《入黄溪闻猿》）在贬谪的日子里，诗人无时无刻不在思念家乡，怀念故园。春天到了，想起故园的池水碧波荡漾，大概是在等待自己回家灌园，“悠悠故池水，空待灌园人”。春暖花开之时，诗人听到黄鹂的啼叫，于是眼前猛然出现了故乡的春意，勾起了无限的思乡之情。“倦闻子规朝暮声，不意忽有黄鹂鸣。一声梦断楚江曲，满眼故园春意生”。（《闻黄鹂》）就连栽种一些花草，诗人都会想起久别的故乡。“上苑年年占物华，飘零今日在天涯”。（《种木槲花》）
一天，诗人登上柳州城楼，北望中原，那个他永远无法回归的家园，那片他永远也无法再踏上的土地，写下了人生中最悲凉的诗章：
登柳州城楼寄漳汀封连四州刺史
城上高楼接大荒，海天愁思正茫茫。
惊风乱飐芙蓉水，密雨斜侵薜荔墙。
岭树重遮千里目，江流曲似九回肠。
共来百粤纹身地，犹自音书滞一乡。
在柳宗元被贬期间，他的好友吴武陵一直奔走于权臣裴度门下，设法让朝廷允许柳宗元回京。元和十四年（819年），宪宗大赦天下，裴度为柳宗元说情，宪宗终于答应柳宗元回京。但是，诏书还没到达柳州，柳宗元便带着半生贬谪的悲凉和痛苦离开了人世，年仅四十七岁。柳宗元临死的时候，将自己的遗稿交给了刘禹锡，刘禹锡后来编成《柳宗元集》。柳宗元去世时，两个儿子柳周六、柳周七才三四岁，观察使裴行立为柳宗元办理了后事，并护送他的遗孀和孩子回京师，时人无不钦佩他的道义，也许，他是用这种方法，来表达对这位伟大而又命运多舛的诗人最后的敬意，也告慰诗人的在天之灵吧。