元和三年（808年），白居易改授左拾遗，仍充翰林学士。在他刚担任翰林学士的时候，一个叫李放的画家为他画像，白居易在像上题诗，说：
我貌不自识，李放写我真。
静观神与骨，合是山中人。
蒲柳质易朽，麋鹿心难驯。
何事赤墀上，五年为侍臣。
况多刚狷性，难与世同尘。
不惟非贵相，但恐生祸因。
宜当早罢去，收取云泉身。
（《自题写真》）
此时的白居易已经意识到，自己狂狷的性格处在朋党倾轧的朝廷，很可能会给自己带来灭顶之灾。但是“收取云泉身”又谈何容易！在被任命为左拾遗之后，诗人昂然以天下为己任：“奉诏登左掖，束带参朝议”，“天子方从谏，朝廷无忌讳”，（《初授拾遗》）多次上书议论时政，得罪了权臣李吉甫及其子李德裕，陷入了政治斗争的旋涡中。此后几十年的时间中，白居易一直受到李德裕的排挤。不仅如此，白居易因为皇帝任用宦官做统帅，还当面指责皇帝。白居易担任左拾遗，可以说是充分发挥了这个官位的职能，（左拾遗为谏官）可是，也因此得罪了很多人。元和六年（811年），白居易母亲去世，他辞官回家守孝，三年后再回朝廷的时候，没能继续当左拾遗，而是改授太子左赞善大夫，这大概也跟他任谏官时多次直言进谏，得罪了权臣有关。谁知道，真正的大祸，却在这个陪太子读书的职位上悄悄地等着他。
元和十年（815年），宰相武元衡因主张用强硬手段剿灭割据一方的节度使势力而遭到藩镇的嫉恨，竟然在上朝途中遭到刺客暗杀。（参看《说“不”是一件不容易的事》一章）事发之后，朝野震惊。刺客的主使其实已是公开的秘密，但是朝野上下却无人敢言。此时白居易已经不再担任谏官，可是他激于义愤，不顾自己的职责所限，上书朝廷要求捉拿凶手。他似乎并不知道，自己已经掉入了一个巨大的政治旋涡中，成了一个毫无意义的牺牲品。
安徒生的《皇帝的新装》里，最后是一个孩子大胆地说出了大家都知道的秘密：皇帝没有穿任何衣服。安徒生并没有说这个孩子的结局怎样，但是白居易用自己的遭遇告诉了我们讲真话的结局。他的奏章发出之后，权臣十分不满，给他安了一个“越职言事”的罪名，要处理他。大概别人觉得这个罪名还不够重，于是又添油加醋说，白居易的母亲是看花落井而死的，可白居易竟然还写了《赏花》《新井》这样的诗，明显是不孝，于是两罪并罚，白居易一夜之间，便由万众瞩目的天子脚下，被贬到了枫叶荻花的江州做司马。
在江州的日子，大概是诗人人生中最悲苦的一段岁月吧。在一个秋天的夜晚，白居易在江边送别朋友，突然听到邻船传来动听的琵琶声。于是“移船相近邀相见，添酒回灯重开宴”，这个曾经色艺双绝名动京城的琵琶女给终岁不闻丝竹声的诗人带来了些许安慰，但是更多的却是让诗人更真切地感觉到被贬谪的悲凉和无奈。于是，在这个秋夜，同样的漂沦憔悴把诗人和琵琶女联系在了一起，梦啼妆泪红阑干，江州司马青衫湿，船外江心秋月白，两个不相识，但是也不必相识的天涯沦落人，用音乐和诗歌搭起了沟通的桥梁，互诉悲苦人生。