赵昚退位后最担心儿媳妇李氏作乱。
李氏名凤娘，性情妒悍，新皇帝赵惇偏偏又是极端怕老婆的人，听任李氏为所欲为。赵惇曾经宠爱一个黄姓妃子。李氏很嫉妒，趁赵惇外出的时候将黄氏打死，对外宣称暴毙。赵惇贵为天子，回来后也无可奈何；又一次，赵惇洗漱时发现一位侍候宫女的双手洁白漂亮，非常喜爱，盯着看了几眼。几天后，李氏派人给赵惇送去一个食盒。赵惇打开一看，差点晕厥过去，原来食盒里装着当天那个宫女的双手。久而久之，赵惇对李氏产生了不敢割离的恐惧感。史载赵惇“不视朝，政事多决于后矣”。李凤娘掌权后，没有丝毫作为，却骄奢无比，只知道为自己李家牟利。她封祖宗三代为王，家庙规格逾制，卫兵比太庙还多。李凤娘还风光地归谒家庙，推恩亲属二十六人、使臣一百七十二人，连家里的门客也都补了官职。
赵昚对儿媳妇李氏的所作所为很不满，曾严厉训斥她说：“你应该学太上皇后的德行。如果你若再插手东宫事务，朕就要废掉你！”很自然的，李凤娘那样的人对公公赵昚怀恨在心。赵昚退位后，李氏很少去看望闲住重华宫的太上皇，即使去了不是不冷不热，就是傲慢无礼。赵昚的皇后、太上皇后谢氏好言规劝李凤娘要注意皇后身份，要谦恭懂礼。李凤娘当场翻脸，讽刺谢氏说：“我可是皇上的原配妻子，是明媒正娶的皇后！”谢氏出身侍女，最初侍奉宋高宗吴皇后，后来才被赏给赵昚，后来逐渐得到赵昚的宠爱，晋封为皇后。李凤娘当众讥讽太上皇后谢氏的身份卑微，谢氏大怒，继而大哭不止。赵昚震怒之余，决定废黜李凤娘。他召来老臣史浩商议废后之事。史浩劝谏道，新皇赵惇继位尚短，骤行皇后废立大事，恐怕会引起天下非议，不利社稷江山的安稳。他坚决不同意废后。赵昚只能再物色其他大臣作为依靠。可惜他已经退位当了太上皇，除了几个老臣，再也找不到有力的支持者了。赵惇对此装聋作哑。废后一事最后只得不了了之。
太上皇赵昚和儿媳妇的关系算是彻底破裂了。他讨厌李凤娘来到重华宫，但有的时候他又盼着李凤娘的到来。因为只有那时候，儿子赵惇才敢跟着来看退休的赵昚。
赵惇也想过要改变被老婆控制的局面。古代皇后不仅衣食住行离不开太监的伺候，弄权干政更是需要太监的协助。赵惇就想釜底抽薪，将李凤娘的亲信宦官全部杀死，解决受制于李氏的窘境。关键时刻，性格懦弱的赵惇当断不断、犹豫不定。太监们也不是省油的灯，他们探听到赵惇的秘密计划后，更加依附于李凤娘以求自保。每当赵惇流露出憎恶太监的言行，李凤娘就加以包庇。因为“母老虎”的保护，赵惇最终没能铲除哪怕是一个小太监。太监们认定只有维持甚至加剧皇帝的家庭矛盾，他们才能长久平安。于是，太监们险恶地在赵惇和李凤娘之间、赵昚和李凤娘之间、赵昚和赵惇之间挑拨离间，唯恐天下不乱。
夫妻矛盾、父子隔阂使得赵惇承受了巨大的心理压力，身心劳顿，患上了一种“怔忡病”。赵昚听说儿子生病了，爱子心切，将太医们都叫到重华宫来，给赵惇配药抓药。因为他不愿意去见那凶恶的儿媳，就坐等赵惇前来请安时，将药给儿子服用。太监们趁机在赵惇和李凤娘面前搬弄是非，说：“太上皇制药，欲待皇上前去问安，即令服饮。倘有不测，岂不贻宗社之忧吗？”他们竟然中伤赵昚在重华宫给赵惇配药是别有用心。赵惇听了，不肯去重华宫服药。赵昚看到一个玉杯很好玩，就让太监送给赵惇。赵惇一时没有拿稳，玉杯落地摔碎了。太监们就向赵昚造谣说：“皇上一见太上皇赏赐的玉杯，不知道为什么非常气愤，把玉杯摔碎了。”赵昚一片好心，换来这样的结果，不免对儿子不满且猜忌起来。慢慢的，赵昚和赵惇之间常规的联系断绝了，连礼节性的定期请安也没影了。
在宣称以孝治天下的传统王朝，赵昚父子之间的隔阂注定要成为政治大事件。
“孝”不仅是维护纲常伦理的基础，还衍生出“忠”的概念，是传统王朝政治观念的核心。历朝历代都异常重视孝道，不仅要求天下百姓“百善孝为先”，而且统治者以身作则，大力弘扬孝道。知识分子们在这点上更是敏感。宋朝恰好又是个重文抑武的王朝，文官集团的力量异常强大。文官集团把赵惇不给宋孝宗请安的事件称为“过宫事件”，一致把批评的矛头对准赵惇。一次，赵惇率领后宫嫔妃游览聚景园，而没有邀请太上皇赵昚一起游览。群臣纷纷上书，有的旁征博引，有的春秋曲法，有的指桑骂槐，都是批判赵惇的。赵惇本来心里就不痛快，精神压力大，现在见到雪片般飞来的指责奏章，更不高兴了，与赵昚的感情又少了一分。
赵惇明显不孝，又不听劝谏。文臣们只好来最后一招，那就是“伏阙泣谏”。也就是一大帮文官显贵齐刷刷地跪在皇宫里，哭得稀里哗啦地请皇帝答应他们的要求。这一次，群臣们的要求很简单，就是要求赵惇抽空去看看重华宫里寂寞的太上皇。绍熙三年（1192）十二月，赵惇在群臣苦谏下推辞不过，当场勉强答应去向赵昚请安。拖了几天，赵惇还没有实际行动。群臣又要苦谏，赵惇这才去了重华宫，象征性地探望赵昚一次。之后的长至节和元旦，赵惇先后到重华宫给赵昚请安。
这是赵惇最后一次前往重华宫，之后他再也没有踏进重华宫半步。其间，在“母老虎”李凤娘的凶残霸道下，赵惇还抑郁成疾，病情相当严重。赵昚听说后，爱子心切，从重华宫赶过来探视。病榻上的赵惇已经不省人事了。赵昚新仇旧恨涌上心头，训斥李凤娘说：“皇帝病得如此严重，都是你这个皇后没有照顾好丈夫。如果皇帝有什么不测，我就族诛了你们李家！”李凤娘害怕了。不久，赵惇病情有所起色，她就在丈夫面前造谣说太上皇在皇上生病期间有所“异动”，劝赵惇千万不要去重华宫，如果去了，没准就被太上皇给扣留了。赵惇也不仔细思考，轻信了李凤娘的话，更加不敢见赵昚了。
皇帝和太上皇长期互不相见，使得“过宫事件”继续膨胀。朝野上下议论纷纷，临安内外沸沸扬扬。不仅朝廷大臣纷纷劝谏赵惇，临安的太学生们也都集会呼吁。学生一向是最激情的人群。他们动辄联络上百人联名上书，要求皇帝过宫，给整件事情加薪浇油。赵惇对待劝谏的态度是，奏章我看，但就是不听。绍熙四年（1193）九月的重明节，是赵惇的生日。临安的宰执、侍从和太学生们决定在这一天联合发动大规模劝谏活动，逼他去重华宫向赵昚请安。当天早朝的时候，大臣们当朝死谏，侍从们传递近来数以百计要求皇帝向太上皇请安的奏章。书写奏章的几乎包括了临安城所有的太学生。赵惇经不住朝野群山海啸一般的劝谏，准备去拜见太上皇。就在准备出发的时候，李凤娘拉住赵惇的胳膊，借口天气寒冷要回宫饮酒。百官在外面恭候多时，见此情形面面相觑，中书舍人陈傅良急火攻心，冲上前去拉住赵惇的龙袍，不让他回后宫。皇帝、皇后和陈傅良三个人拉拉扯扯起来，僵持在一起。李凤娘厉声呵斥陈傅良，陈傅良最终放手，大哭着退出宫去。李凤娘则暴跳如雷，竟然传旨，今后永不再见太上皇。