1928年年初，蒋介石在冯玉祥、阎锡山等人以及国民党内部军政要员的支持下复职，1月8日就任国民革命军总司令。此时武汉国民政府已与南京国民政府合二为一。国民革命军解决了内部纷争后，决定继续北伐。1928年2月份，蒋介石把几个方面的军队编成四个集团军，总司令为蒋介石，参谋总长为何应钦，下辖四个集团军：第一集团军总司令由蒋介石兼任，辖18个军29万人，沿津浦铁路进攻；第二集团军总司令冯玉祥，辖25个军31万人，沿京汉铁路及其以东地区进攻；第三集团军总司令阎锡山，辖11个军15万人，由娘子关及京绥铁路进军；第四集团军总司令李宗仁，辖16个军又3个独立师计20余万人，沿京汉铁路集结作为总预备队，另派白崇禧为总指挥，率一部军队北上，应援京汉铁路方面的军事。
面对蒋介石复出后山雨欲来风满楼的北伐气势，1928年1月25日，张作霖在北京召开安国军最高军事会议，研究安国军的作战方略，作出如下部置：第一，张学良、杨宇霆所部第三、第四方面军团，大部开赴邯郸以南，面对冯玉祥、阎锡山取攻势，相机向山西、陕西境内推进，破其主力。第二，任张宗昌为第二方面军团军团长，所部固守鲁南，面对蒋介石北伐军取守势，不得盲目出击。第三，令孙传芳为第一方面军团军团长，所部在山东济宁一带防守，与张宗昌部加强联系，强化鲁南防守。孙传芳部本来有很强实力，但由于在1927年8、9月间反攻作战中孤军深入，结果在南京龙潭地区被李宗仁第七军和何应钦第一军联手战败，损失惨重，主力4万多人尽数覆灭，张作霖考虑到实际情况，因此只给了他协助防守的任务。第四，任褚玉濮为第七方面军团军团长，所部在大名和鲁西一带防守，与左翼的张学良、杨宇霆，右翼的张宗昌、孙传芳保持密切联系，阻敌北进。第五，张作相所部配合第三、四方面军团作战，向平型关、大同进攻，并相机攻入晋北内部。任吴俊升为第六方面军团军团长，为全军的总预备队。
由以上部署可以看出，张作霖的主力部队第三、第四方面军团用在了对付冯玉祥和阎锡山上，属于以强击弱；而新败之余的孙传芳、张宗昌部队则用来防守冯玉祥和蒋介石，属于以弱御强。这里需要说一下第四方面军团的军团长为什么换成了杨宇霆，原因是韩麟春在大战开始之时身患重病，只好以杨宇霆代理。要说杨宇霆还真是个灾星，代理第四方面军团军团长不到五个月后，奉军就因战败而退出了关内，与以前他出任江苏督军2个多月就因苏皖战败加上郭松龄兵变而退出关内如出一辙。
张作霖的这个作战部置，其目的是希望集中优势兵力先在北边取胜，解决侧翼威胁问题，然后发兵向南，援助张宗昌和孙传芳。这个战略的核心取决于鲁南能够防御多久。如果鲁南能够坚持到晋北一带全歼阎锡山之后，那么张作霖的这个战略将取得空前胜利，反之，如果让蒋介石和冯玉祥在鲁南突破，然后顺势北上，就有可能切断陕西山西方向作战的直军后路，造成很大的威胁。当时有人提出张宗昌和孙传芳可能守不住山东，建议从第三、第四方面军中抽出两三个军配给张宗昌和孙传芳，张作霖也确实犹豫了一下，但张宗昌的反对以及信誓旦旦的表态让张作霖相信了他。事后恰恰就是张宗昌和孙传芳在山东的失败，导致了奉军全线大溃退，使张学良、杨宇霆在北边取得的胜利一夜之间归于零。
1928年4月2日，张学良、杨宇霆下达攻击令，命令于学忠、戢翼翘、富双英各军及骑兵第一、第二两军，以戢翼翘为中心，向丰乐镇一带的冯玉祥部队进攻。冯军不敌，向漳河南岸退去，戢翼翘率部紧追，逼近了安阳城北面。于学忠占领了回龙镇，逼近安阳城东面，两军成夹击之势，对冯军孙连仲部形成合围，歼敌1500余人，安阳指日可下。与此同时，张作相的第五方面军也已经进占了山西重镇大同，进逼五台，占领井陉，整个晋北已处于奉军包围之中，阎锡山部队摇摇欲坠，已呈崩溃之势。
但是此时张作霖所最担心也最不愿意看到的情况还是发生了。进入4月中下旬，鲁南局势已经岌岌可危。蒋介石于4月9日发布北进的总攻击令后，13日许琨就丢掉了韩庄。张宗昌不得不令各部在泰安、界首两地布防，张宗昌相信自己的实力，以为自己兵多粮足，无论如何也可以学习杨虎臣、李虎臣二虎守西安的壮举，即使八个月守不到，守上个四个月总可以了吧？四个月不行，两个月那是绝对可以的。但是事与愿违，仅仅过了半个月左右，蒋军就攻占了泰安，29日又攻占了界首，张宗昌败军纷纷溃退，济南的门户大开。
此时孙传芳在哪儿？孙部本来还是有些战斗力的，坐守济宁应该没有多大问题，但是偏偏孙传芳老是想着重温五省联军总司令的旧梦，一有机会就想着反攻，也不看看眼前形势。这次张作霖让他固守济宁，协防鲁南，但他看见蒋军布置在徐州的兵力空虚，于是忘了张作霖的话，率军去攻徐州了。孙传芳一动，正在西边虎视眈眈的冯玉祥部孙良城、方振武趁虚袭占了济宁，顿时使孙传芳进退失据，不得不命令全军向济南方向撤退。
界首失陷后，孙传芳与张宗昌一起赶紧由济南北退。蒋介石遂于5月1日进占济南。济南失陷，津浦线上的大门洞开，京津震动。奉军此时虽然对于冯阎均有优势且已取得军事上的胜利，但天津面临威胁，如果天津失陷，则张作霖主力第三、第四及第五方面军团将无路撤退。为此，张作霖决定保存实力，令三、四、五军团速向滦东五县和关外逐步转移，同时于5月9日发出求和通电，但是蒋、李、阎、冯认为是缓兵之计，不予理睬，继续北进。张作霖眼见主和无望，于是积极准备退往关外，以图后举。