鲁南于4月下旬失守后，张学良、杨宇霆意识到津浦失利，天津危急，因此提前就开始做撤退准备。这时又接到张作霖命令向滦东集结，于是按计划分两期实行。第一期，把攻打冯军安阳一带的部队先撤到保定附近，然后由铁路输送到滦东各县；第二期，把攻打阎军的石家庄、娘子关部队撤到保定以南，先掩护由安阳方面撤退的各部安全通过保定之线，然后各掩护部队以军为单位，经过京、津中间地带向滦东一带撤退。第一期各部队于5月上旬先后通过保定开赴滦东一线，第二期各部队于5月上旬先后撤到保定以南布防，然后经津浦中间地带向滦东撤退，所有撤退计划均有条不紊执行，因此奉军主力未受到任何损失。撤退途中仅有冯军郑大章部率骑兵尾追了一阵，但兵力很少，仅属于骚扰性质，无大的战斗。
张作相率领的第五方面军团，于5月底分别向热河、京东一带撤退。第十二军退承德，第九军退滦平，第三十军退马兰峪一带，仅留四十七旅在北京办理交涉。汲金纯部在第五方军撤退前，于5月中旬已奉令向热河境内凌源一带后撤。
褚玉璞第七方面军团在大名防守军，未发生主力战斗。4月下旬因张宗昌败退而下令所部，经南宫、武强等县向天津以东撤退。
关于这次奉军大规模撤退，其实是张作霖看见关内形势明显不利于自己时采取的一项保存实力的做法。当时关内蒋冯阎桂携手，反对的目标只有张作霖一个，以前还有直系可以依赖，于今是孤家寡人。当然，只要张作霖愿意，还是有人愿意帮助他的，那就是日本人。日本公使芳泽曾于5月中旬携带秘密文件晋见张作霖，承诺如张允可签订，日本可以出兵相助，阻止南军北进，但被张作霖拒绝了。张作霖不愿卖国，同时也认为，只要自己退出关内，那么蒋冯阎桂之间为争夺北京政权一定会打起来，这样以后还有卷土重来的机会。应该说张作霖的判断非常有先见之明，大概一年后蒋冯阎桂之间果然就争斗了起来，甚至在1930年还爆发了史无前例的中原大战。如果张作霖还在，那么他一定还是民国历史上的不死鸟，极有可能再次率军驰聘中原。只可惜恼羞成怒的日本人再没给他这样的机会。1928年6月4日，张作霖在大军撤退之时被日本人炸死于皇姑屯，即本文开篇所说的皇姑屯一声巨响。
奉军撤退时，阎锡山捡了大便宜。此时离奉军撤退地方最近的就是阎锡山的部队了。奉军在前边走，阎军就在后面跟，就好像约好了一样。阎锡山也就这出息，打仗打不过别人，所以就不打了，只管跟着就是，跟着跟着也就进占了石家庄、保定等重要据点，收编了安锡嘏师，还获得了奉军运不走的或者不屑于运的一些物资和军用物品。6月8日，阎军商震、徐永昌部进占了北京。捡到便宜的还有冯军韩复榘部，他们派汽车载着一部分军队跟着阎锡山进了北京，因此也算捞到了一点外快。最倒霉的就是蒋介石了，仗打得比谁都大，战利品却一毛也没有捞着，不过蒋财大气粗，也不在乎这些。
1928年7月下旬，蒋介石约冯玉祥、李宗仁、阎锡山、李济深到京，在西山碧云寺召开军事会议，决定停止对奉军的进剿，虽然张作霖被日本人炸死了，但张学良已接续大位，拥有相当的实力，短期内进军关外解决不了问题。而此时共产党已在井冈山建立了革命根据地，成为蒋介石的心腹大患，急需派部队前去征剿。至于张宗昌、褚玉璞以及孙传芳等的残部，决定由白崇禧率军解决。此外，将北京改名为北平，派阎锡山为平津卫戍司令，派张荫梧为北平警备司令，傅作义为天津警备司令。直隶改为河北，派商震为河北省主席，杨爱源、徐永昌分任察哈尔、绥远主席。平、津和北方的大权，均落到了阎锡山的手中，使阎锡山成为此次北伐的最大获益者。