国民军南口失败后，冯玉祥从苏联回国。1926年9月17日冯玉祥纠集残部在五原誓师，通电加入南方国民党组织的北伐军，讨伐张作霖组织的反赤联军。
冯玉祥的国民军本来在南口大战中一败涂地，撤入甘肃荒凉地带的部队不到五万人，而且士气低落，衣食无着，当时已稳操胜券的张作霖忽视了冯玉祥的能力，没有深入荒凉地带乘胜追击。而吴佩孚虽有此心却被南方战场牵制住了主要兵力，分身乏术。至于阎锡山，向来满足于山西一亩三分田，不愿单独出兵深入不毛之地，这就使冯玉祥手下的张之江及鹿钟麟各部得到了喘息之机。冯玉祥五原誓师后，在苏联的大力援助下竟然很快死灰复燃，为了保全自己，冯主动向南方国民革命军靠齐，率领全军参加国民党，所部也改为国民政府领导下的国民革命军。冯玉祥还制定了固甘援陕联晋图豫的发展战略，事后证明，这个战略极其正确，是冯玉祥能够东山再起的最主要原因。
“固甘”靠的是刘郁芬。这个人是个奇才，冯玉祥兵败南口之时，他以两师孤军经营甘肃，仅用了三个月左右时间，就干脆果断地扫平了甘肃境内的张兆钾、韩有禄、黄德胜等地方实力军阀，将甘肃变成了国民军败退后的最大战略基地，从而为冯玉祥的复出提供了很重要的立足之地。
“援陕”靠的是孙良城。当时杨虎城、李虎臣困守西安已达八个月之久，城内已经出现了人吃人的情况，援陕刻不容缓，此时各路救援部队因慑于刘震华镇嵩军的实力，个个屯边周边不敢相救，只有孙良城毫无私心，破釜沉舟全力解围，终于将围城八个月之久的镇嵩军打败。随后冯玉祥将总部移到西安。此时已到了1926年年底，冯玉祥实力逐步恢复的时候，也正是吴佩孚在湖南前线失败，实力逐步走向消亡的时候。两人刚好一正一反，决定了今后两人在民国舞台上不同的分量。
1926年12月，冯玉祥将大本营移到西安后，进一步东出潼关，进入河南，冯玉祥的国民军(已改称国民革命军)此时已经恢复元气，新败之余的刘镇华不是对手，其所依赖的吴佩孚又已经日薄西山，自顾不暇，为免遭灭顶之灾，刘镇华急忙要求入队，冯玉祥收编了镇嵩军。此时张之江由于从南口撤退时没有组织好部队，遭到各方反对，已经基本出局，冯玉祥依赖的主要是刘郁芬、孙良城、方振武、鹿钟麟、宋哲元这几位国民联军中的骨干。
“图豫”借助的是张作霖。河南本来为吴佩孚控制，即使在湖北前线失败，吴佩孚此时在河南仍然拥兵十几万，刚刚恢复的冯玉祥与之作战胜算不大，因此“图豫”急切间就只能停留在“图”上。但此时张作霖“帮”了冯玉祥大忙，张作霖也派兵图豫了，张作霖图豫比冯玉祥就要简单得多，因为吴佩孚手下部将大多人心归奉，对抗奉军时消极作战甚至主动投降，所以没费什么力气就把河南给占了。但张作霖占据河南不到两个月，北伐军中的武汉国民政府就派兵打过来了，当时唐生智掌握武汉国民政府的军事大权，他让张发奎率领铁军第四军以及第十一军和独立十五师北伐。此外配合的还有三十五军、三十六军等各部。张发奎率部与张学良血拼，其结果是两败俱伤。据说第四军当时伤亡超过一万五千人，死伤惨重，这让张发奎非常不高兴，后来张发奎借口剿共，非要从武汉回广东，就是受够唐生智排挤不愿再当炮灰的原因。不管怎么样，张发奎帮了冯玉祥的大忙，前面奉军与张发奎血战的时候，冯玉祥趁机派兵去抄河南奉军的后路。1927年5月，冯军攻克洛阳后继续沿陇海路东进，27日克孟津，28日过偃师，30日克孝义，同日郑大章骑兵占领郑州。由于担心后路被切断，张学良只好放弃河南地盘，6月1日奉军全军撤过黄河，于是黄河以南为冯玉祥军队控制。6月3日，唐生智的部队与冯玉祥的部队会师郑州。随后武汉政府任命冯玉祥为河南省主席。
今天来看，张作霖占据河南很可能是一招臭棋，如果他不出兵，那么河南还是吴佩孚的地盘，吴佩孚当时是张作霖的盟友，尽管在南方占败，但是还拥有相当的实力。以吴佩孚的力量来抗衡南方北伐的国民革命军，无论如何都是可以抵挡一阵的，因为河南是吴佩孚下属各军的安身立命之地，不像对奉系战斗可以投降盟友，对南方国民革命军他们一向没有多少接触，一旦失败就将无处安身，因此必将死战，战斗力会很惊人。如果吴佩孚抵挡住了南方，那么张作霖就可以腾出手来专门解决冯玉祥，这样冯玉祥的势力就不会扩展这么快，以当时张作霖的势力，重新把冯玉祥打回原形也完全有可能。如此一来，张作霖就可以解决大军南下时的后路威胁，整个北方局势大为改观，可惜的是，张作霖在利益的驱使下还是向盟友吴佩孚开刀了，虽然轻轻松松地获得了河南地盘，却守了两个月又全送给了死对头冯玉祥，这是1927年张作霖下的一招臭棋。
同样下臭棋的还有张发奎，糊里糊涂地跟奉军恶斗一场，损兵折将那么多，结果啥也没捞着，回过头来等于是送给了冯玉祥一个大礼。之后回到武汉，唐生智又安排他顺江东下去与李宗仁的第七军恶斗，铁军碰钢军，那死伤数量必不计其数，刚好此时南昌起义爆发，张发奎赶紧借口追剿共军南下去了。
冯玉祥捞足了便宜后，接下来还有更大的便宜等着他捞，真是运气来了挡都挡不住，现在的好运气已经从当年的吴佩孚身上转移到了冯玉祥身上。这位老兄占据甘肃、陕西、河南之后，在北方又取得了阎锡山的谅解和支持，一时顺风顺水，劲头十足。而北伐的国民革命军此时一分为二，各自为自己的正统地位争个不休，无论是武汉国民政府还是南京国民政府，都使足力气拉冯玉祥加入自己的阵营，因为形势摆在那儿，冯玉祥支持哪一边，哪一边就将胜出。那么冯玉祥会支持哪一边？他并不急着表态，而是先跟武汉国民政府的汪精卫会谈，谈的时候最紧张的就是南京的蒋介石了，简直可以用提心吊胆来形容。那个时候，北伐军蒋总司令盼望国民联军冯总司令简直得了相思病，冯总司令也不能不赏脸，随后就到徐州和蒋介石见面了。蒋介石率领一班文武坐车提前一站迎接，此举让冯玉祥很受用。蒋介石为了拉住冯玉祥，除了汪精卫答应的条件不变，还大笔一挥，给了冯玉祥六百万元军费。要知道西北军虽然作战勇敢，可是打从成立起没哪天不受军饷的折磨，大冷天部队没冬装又没冬粮，真是苦极了。这六百万银元，买到了后来冯玉祥对蒋介石的支持，为后来蒋介石下野后又能复出埋下了伏笔。