北京政府的事情初步摆平之后，接下来张作霖的目标就是南方直系残余了，但是段祺瑞为保持力量均衡，并不同意对江浙直系用兵。而在南方直系残余通电拥护北京政府之后，张作霖一时也找不到合适的借口南下征讨，所以事情就这么拖了下来，一直拖到1924年的12月份。这时一个变量出现了，这个变量很快就被张作霖名正言顺地利用了。要把这个变量说清楚，事情还得从原浙江督军卢永祥说起。我们知道，苏浙大战江苏督军齐燮元与浙江督军卢永祥争抢上海地盘，结果卢永祥战败逃亡日本。没过几天，冯玉祥发动“北京政变”成功，电告卢永祥从速回国。卢永祥是皖系，政变后皖系领袖段祺瑞重新上台，卢永祥的好运气来了。果然，回国后没多长时间，段祺瑞就任命其为直隶督办。就段祺瑞来说，他想拥有自己的实力，就必须控制武装，而卢永祥是其坚定而忠实的嫡系，让卢永祥占据直隶地盘，自己说话也有底气。但这下子捅了马蜂窝了，因为这个直隶督办的任命，段祺瑞并没有跟张作霖商量，而是自作主张，先下手为强。
大家知道，这个直隶督办奉系早就虎视眈眈了，李景林费尽九牛二虎之力才从冯玉祥手里把直隶地盘抢过来，就等着北京政府一纸任命了，如今任命的却不是他。李景林那个火啊，坚决不服从段祺瑞的命令，他有兵有枪，只要张作霖不发话，段祺瑞奈何不了他。张作霖当然不会发话了，事情陷入了僵局，段祺瑞只能再找张作霖。对于张作霖来说，他要的就是这个效果，南下征讨的机会终于来了。
张作霖公开为皖系军阀卢永祥鸣不平，说卢永祥原本是江浙富庶之地的督军，如今却被人逼得无处可待了。因此他提议把苏皖两省地盘划给卢永祥掌控，如果南方胆敢不从，他就派兵护送，一应经费开支全由他承担。对于这个方案，段祺瑞和他的心腹吴光新以及卢永祥反复商量，认为这个方案可行，不费一兵一卒而唾手可得两省地盘，非常划算。尤其是对卢永祥来说，与其做一个有名无实的直隶督办，还不如南下复仇来得痛快。于是段祺瑞下令罢免江苏督办齐燮元，任命卢永祥为苏皖宣抚使兼江苏督办，王揖唐为安徽督办。同时任命李景林暂行署理直隶督办，任命奉系大将阚朝玺署理热河都统。后面两人的任命，是作为张作霖南下帮助夺取地盘的回应。
1924年12月12日，张作霖、卢永祥、张宗昌、李景林、吴光新等人在天津召开会议，决定由卢永祥率兵南下，张宗昌担任先锋。
这个张宗昌就是前文说过的臭名远扬的“三不知”将军，他借着第一次直奉大战迅速崛起，然后又在第二次直奉大战中捞得盆满钵满，成为发展最快的部队。当时张宗昌在滦州截住直军退路后，直军已经陷入了奉军包围，冯玉祥北京政变消息又在军中传开，直军高级将领纷纷脚底抹油，部队迅速土崩瓦解。因此张宗昌没费吹灰之力，就收编了直军精锐部队彭寿莘部六七万人，所遗大炮、机关枪、枪支弹药全被张宗昌收缴。人的运气来了真是挡都挡不住，张学良、郭松龄在山海关外与彭寿莘部对抗四十余天，死伤无数，半点好处也没捞着，而张宗昌赶过来不到两天就把所有胜利成果接收了。不仅如此，完成收编后张宗昌掉头西进，一路追赶张福来溃兵，先后经过芦台、昌黎、军粮城，直到天津附近，直军抛弃的武器、弹药、粮袜、被服无数，毫无战斗力的溃散部队及散兵游勇到处都是。张宗昌沿途收集，不断扩大自己的队伍。到第二次直奉大战结束，张宗昌的部队膨胀了七八倍以上。于是张宗昌将手下褚玉璞、许琨、程国瑞、王栋、毕庶澄等部队，均扩编为三团制的旅(相当于师)，另外，令钟震国、方振武各编一个两团制的旅。至此张宗昌已经坐拥雄兵十几万，几乎可以与张作霖齐平了。
眼下，张宗昌的机会又来了。张作霖要南下，选中的部队是张宗昌。为什么要选张宗昌？一来张宗昌有这个实力；二来张宗昌并非张作霖的嫡系，十几万部队放在京畿附近毕竟有些不放心；三来南下意味着开战，开战就有风险。而对于张宗昌来说，十几万部队要生存，这就需要有地盘，因此他比张作霖更急切地需要南下。
张宗昌的好运气再次来临，这位混天混地的混世将军不知道前辈子积了什么德，好运气那是接连不断。本来以为南下要遭遇很强的抵抗，没想到一路通行无阻。徐州本来驻有陈调元的一个师，没想到这陈调元当年与张宗昌一起在冯国璋手下混过，那时陈调元是南京宾兵司令，而张宗昌是江苏第六混成旅旅长。张宗昌出手大方，一应吃喝嫖赌全由张宗昌负责，张宗昌还给陈调元买了一个上海名妓做姨太太，两人由此结下了深厚的友谊。听说是当年的老朋友张宗昌大军南下，陈调元赶紧大路敞开，把徐州拱手送给了张宗昌。徐州既下，南京的门户就打开了。
接下来要看孙传芳的态度了。孙传芳在苏浙之战中坚定地站到了江苏督军齐燮元一军，还率领五省联军帮助齐燮元打败了卢永祥，这一次卢永祥卷土重来，孙传芳会再次帮助齐燮元吗？孙传芳第一反应是要帮助，因为自己现在占领浙江，前任浙江督军卢永祥在张宗昌的护驾下来到家门口了，岂非要抢自己的地盘？与其坐以待毙，不如联合齐燮元起而抗之。因此孙传芳致电段祺瑞明确反对奉军南下。为先下手为强，孙传芳决定先将上海抢到手里，1925年1月11日，孙传芳与齐燮元组成江浙联军，齐自任江浙联军第一路总司令，孙任第二路总司令，齐孙南北两路对进，时镇守上海的淞沪护军使张允明部纷纷溃散，齐、孙联衔占领上海。
为了分化齐孙组合，段祺瑞就势任命孙传芳为浙江督办，以宽孙传芳的心，表示卢永祥目的只在江苏，无意南下浙江。同时宣布上海永不驻兵，亦不再设军事机关。这样，孙传芳因为上海不驻兵，自己的地位也有了明确说法，态度缓和了不少，缺少了孙传芳的支持，齐燮元独木难成林，根本不是张宗昌的对手。张宗昌利用白俄军的铁甲车开路，很快南下占领江苏省内的镇江、丹阳、常州、无锡、苏州，先头部队到达上海。齐燮元内外交困之下只好通电下野，张宗昌率军进入上海，与孙传芳部南北对峙。齐燮元之败军第六师、第十九师投靠了孙传芳，增强了孙传芳的实力。
为了解决南下奉军与孙传芳之间的问题，段祺瑞的代表吴光新、张作霖的代表张宗昌、孙传芳的代表王金钰在上海举行会议，商定孙军退往松江，奉军退往昆山，为此签订了新的《江浙和平公约》。但是孙传芳依约退至松江后，张宗昌以没有地盘驻军为由，依然滞留上海花天酒地，这个地方张宗昌很喜欢，他想赖着不走了。
请神容易送神难，张宗昌借着护送卢永祥南下到达上海后就不走了，怎么办？这个瘟神待在这里，浙江的孙传芳不安，新任江苏督办的卢永祥也不安。卢永祥眼下还是光杆司令，兵没有一个，张宗昌对他的威胁最大。万般无奈，为了保护自己的嫡系爱将，段祺瑞只好任命张宗昌为苏皖鲁三省剿匪总司令，以徐州为其驻地。张宗昌不太愿意，徐州怎好跟上海比？但是这次把张宗昌从上海调往徐州的事情，段祺瑞已经征得了张作霖的同意，张宗昌可以不听段祺瑞的，但不敢不听张作霖的，没有办法，张宗昌只好移兵徐州了。
作为把张宗昌调离上海的交换条件，张作霖以苏人治苏为由，把自己的秘书郑谦推荐为江苏省长，没有办法，段祺瑞只得照准。这样，江苏督办是卢永祥，掌军权；省长是郑谦，掌行政。在当时全国所有各省中，都是督办权力大，基本上督办说了算，省长也就是跟跟风、办办事的，但是江苏不一样。卢永祥是依靠奉军的势力做江苏督办的，自己没有军队，原本寄望着南下江苏接管齐燮元的第六师和第十九师，没想到这两师投靠了孙传芳。四个月前自己在浙江的部队又都被孙传芳消化得差不多了，指望他们前来投诚那也是痴心妄想。就这样，一个光杆督办面对一个有奉军全力支持的大帅秘书，其结果可想而知。军政大权基本上都落在郑谦手里，奉军进苏的部队，卢节制不了，也根本调不动。卢想培养自己的嫡系部队，那也行不通，因为财政大权控制在郑谦手里，没钱怎么培养？
张宗昌退出上海和江苏南部后，1925年4月，北京政府任命其为山东军务督办。这样，其部队继续北撤全部进入山东境内。江苏在名义上算是完全归卢永祥所有了，但是别急，张宗昌前脚刚走，张作霖后脚就派了姜登选过来。1925年5月21日，奉军大举入关，姜登选率部进入上海，派邢士廉为上海戒严司令。郑谦的后台更硬了，毕竟以前张宗昌还是奉军的非嫡系部队，这姜登选却是嫡系中的嫡系，与郑谦关系又好，因此奉系对江苏的控制有增无减。日子实在太艰难了，卢永祥好歹也做过一方诸侯，如今有事无事都要向人家请示汇报，没有半点主权，实在太窝囊了。6月下旬，卢称病辞职，终于把自己的苏皖宣抚使和江苏督办职务交了出来。与此同时，安徽督办王辑唐也因为兵少而驾驭不住省内局势，跟着宣布辞职。这样，在张作霖派兵护送卢永祥南下之后的7个月左右，苏皖两地全都落入了奉系之手。段祺瑞此时方才明白，自己为了卢永祥闹腾来闹腾去，开罪了直系不说，还把本来用于牵制奉系的齐燮元赶跑了，苏皖两省也送给了人家。合着自己的折腾只是为他人作嫁衣，人家不但不感谢你，你还得去感谢人家，真是赔了夫人又折兵。但是没有实力支撑的段祺瑞只好忍气吞声。
段祺瑞愿意忍气吞声，有一个人却不愿意了，这个人就是孙传芳。前文说过，孙传芳原本跟奉军约好各自撤出上海。张宗昌撤出了，但是姜登选又进来了，还带来了一个邢士廉的第二十师。1925年8月份，北京政府继任命李景林为直隶督办、张宗昌为山东督办之后，又根据张作霖的建议任命杨宇霆为江苏督办、姜登选为安徽督办。这个任命很有问题，它引起了奉系的内部之争并直接导致了奉军在南方的失败，这是后话，不提。这里只提这个任命带给孙传芳的恐慌，那就是奉系势力步步为营，从东北沿着海岸线一路发展到了江南，下一步目标是谁不言而喻。与其坐以待亡，不如起而抗之，所以孙传芳下了决心一定要打一场反奉战争。
孙传芳要反奉，消息传给张作霖，张作霖却不信，认为三五年内奉军不打别人已经够可以的了，谁长了豹子胆还敢打他？持此观点的还包括张作霖的总参谋长杨宇霆，这个人当参谋长当腻了，想试试当督军的滋味，江苏督军任命下来后，他就不带一兵一卒的到江苏走马上任了。他以为凭奉系的实力没人敢反抗。当时的情况，江苏境内有身为江苏军务帮办的陈调元的第四师、白宝山的第一师、马玉仁的第三师以及郑俊彦的第十师，奉军则有丁喜春的第八师，驻南京，邢士廉的第二十师，驻上海，浦口一带还驻有隶属于郭松龄的第二步兵旅，这个步兵旅名为旅，其实辖三个步兵团，为一个师的建制，是奉军的精锐。而且陈调元早就要求将其所部编入奉军序列，所以陈部也算半个奉军了。从上述情况来看，奉军实力也并未占弱势，如果笼络得当，苏军完全可以为奉军所利用。张宗昌在的时候，就很好地利用了陈调元来控制苏军，以至于卢永祥根本无从插手。张宗昌这个人口碑不好，但待人接物却很有一套，杨宇霆在这方面实在差得太远。历史证明，杨宇霆这个人当参谋可以，当督军还真的不行，他差点给张作霖带来了灭顶之灾。