河南为直系地盘，吴佩孚一向坚持联奉讨冯，又要倚仗东北军对抗北伐军，因此对张作霖借道河南的要求满口答应，但这时的吴佩孚实际已失去了对直系的掌控力，他的部下靳云鹗坚决反对东北军从河南过境，且主张联冯讨奉。吴佩孚下令免去靳云鹗本兼各职，由田维勤继任，结果这一措施引起靳部将领的强烈反弹。靳云鹗在公开通电反吴的同时，还干脆效仿冯玉祥投入了北伐军的阵营。
1927年2月，张作霖命令联合军团向河南推进，这就是所谓的“东北军下河南”。对于兵下河南，联合军团内部有过分歧。张学良认为应把主力摆在黄河北岸进行防守，特别是炮兵不应渡过黄河。韩麟春感到匪夷所思，因为东北军要说强，也就是强在炮兵上，他很生气地说：“没有重武器怎么打？打仗可不是儿戏。”见韩麟春发了火，张学良这才勉强同意他的意见。于是联合军团便渡过黄河，向南岸的靳军发起进攻。
这场战役东北军打得极不顺利，先是武器最精良的一个军兵溃开封，接着军团主力在攻击郑州时又屡屡受阻。不惟如此，靳军大将高汝桐还率部赶到郑州市郊进行增援，从三面对联合军团的主力部队实施了反包围。
自张郭战争结束后，张氏父子虽然采用轻罚重赏的办法，使得团长以下军官没有出现大的调整，甚至张作霖还曾论功行赏，军校出身但在张郭战争中有突出表现的高级军官，获得“勇”字奖章的大有人在。可是从张作霖在善后会议上的讲话就可以看出，在他们这一派老人心中，已经认为“学生出身的”也就是新派靠不住了。实际上，后来东北军中师长一级军官的位置基本都被老派所占据，有人分析认为，郭松龄反奉造成了东北军老派的复辟。
一旦“业务出色”被“政治可靠”所完全替代，高级指挥官们的素质如何可想而知。面对不利的战局，张学良垂头丧气，认定是韩麟春决策错误，可是要让他下决心将部队重新撤退到黄河北岸又不可能，一则两军黏着，不是说脱身就能马上脱身；二则联合军团有许多重炮，渡河也很困难。
在进退不得的情况下，张学良把气都撒在了韩麟春身上，而且“气得简直没法说”。当时东北军将领普遍都抽鸦片烟，韩麟春也不例外，但他和张作霖一样，没有多大的瘾头，也不因此耽误公务，倒是张学良自己早已吸食成瘾。一怒之下，他便跑到韩麟春处，拿着韩麟春的鸦片猛抽起来。
就在张学良“拼命地抽，都抽糊涂了”的时候，战局却突然发生了戏剧性的转变。事情缘于东北军的铁甲车，这种铁甲车是张宗昌的杰作，张宗昌早年在中东铁路当过筑路工，懂得如何利用铁路上的材料，他的铁甲车外面是夹水泥的铁板和道木，里面安上大炮机关枪，总之是好坏不管，能用就行。
铁甲车本来是沿着平汉铁路，随步兵往前推进的，结果步兵退了，把铁甲车扔在了野外。铁甲车上的带队连长见状只好安慰士兵们说：“你们不用怕，过一会儿，他们准会回来拉走我们。”
天亮了，铁甲车真的开始移动，但连长却发现移动的方向不对。仔细一看，原来竟是靳军的铁甲车把他们的铁甲车给钩上了。眼看即将连车带人成为对方的俘虏，一个管炮的班长嚷起来：“妈的，给它（指靳军铁甲车）一炮算了，这个时候不打，什么时候打？打不好，炮筒哗啦炸了，要死大家一块儿死，我也管不了那么多了。”
说干就干，“咣”地一炮打过去，炮弹直接洞穿靳军铁甲车。车里的人全都被打死了，这些人并不都是被炸死的，多数其实是被震死和闷死的，有的人死时甚至连眼珠子都出来了。巧合的是，这辆铁甲车就是高汝桐的临时司令部，高汝桐当场毙命。
高汝桐一死，城内城外的靳军均方寸大乱。在联合军团的猛打猛冲下，靳军全线溃败，东北军很快就得以连克郑州、开封。这仗打赢，张学良事后归结为运气使然，“战争的胜败，只能说是上帝的眷顾”。
东北军在河南的取胜，让张作霖暂时松了口气。在此前后，他开始对国共在北京的活动予以重视，并下令通缉中共北方负责人李大钊。1927年4月，李大钊被迫避居东交民巷原俄国兵营，此处距苏联使馆仅三百多米，当时被认为是比较安全的。
李大钊与陈独秀同为中共创始人，当时有“南陈北李”之称。知名学者梁漱溟是李大钊的好友，有一天到兵营来看他，结果看到访客满屋，而且大多是青年求见者。李大钊忙于接待，梁漱溟见状不便打扰，随即便退了出去。
自然也有人为李大钊的人身安全感到担心。李大钊早年在日本早稻田大学读书时，即与章士钊夫妇相识，两家关系密切，章士钊的夫人吴弱男请李大钊为她的三个孩子讲授社会学，李大钊则叫自己的女儿认吴为干妈。李大钊住进俄国兵营后，章士钊夫妇曾假借为儿子办护照，到东交民巷来找他。吴弱男力劝李大钊火速设法出国赴苏联，并建议在出国之前，先化装离开东交民巷，到她家里暂住。章士钊得知外面风声很紧，也主张李大钊应尽快行动。李大钊感谢朋友的好意，但他表现得非常镇定，迟迟未离开东交民巷。