酒桌之上，张作霖也撂下话：“你们谁要是丧良心，和官兵一个鼻孔出气，那就别怪我的子弹不长眼睛了。再说，我起事造反的枪支弹药，都是你们几家出钱买的，捅漏了谁也别想好！将来我干好了，就加倍还你们！”
末了，他问道：“你们甘不甘心？”
大伙唯有打掉牙往肚里咽，回答：“甘心！甘心！”
“同不同意？”
“同意！同意！”
“好！”张作霖一挥手，“把你们的合同都拿回来，咱们重新签字！”
大家只好依言取来原合同，由张作霖毁掉，再重新签约。当晚，张作霖把这些人全部灌醉，然后挎上枪，离开了家。他首先找到当年在大车店给他做过“启蒙教育”的冯麟阁，由冯麟阁介绍，加入了洪辅臣帮派。
辽河下游本就是“胡子”集中的地区，经历甲午战争后，社会的动荡不安更使盗匪蜂起，一个辽河西岸竟然聚集着一百多股“胡子”，每当青纱帐起时，几乎路断行人，所以有人称之为“土匪窝子”。在这其中，最大的三股分别是冯麟阁、杜立三、洪辅臣，呈三足鼎立之势。
张作霖实际加入的是洪辅臣下面的一个小帮。在“胡子”里面，小喽啰叫作“崽子”。“崽子”必须绝对服从大小头目的命令，打仗（或者打劫）时勇于冲锋陷阵，下来时甘于站岗放哨，到年终或休息时，再和其他“崽子”一道分点酬劳。张作霖自然不想老做一个“崽子”，但要按部就班地从“崽子”升到头目，又没这个耐心。于是过了不久，他就拉上二十九个志同道合的兄弟，离开小帮，在外面拉起了自己的队伍。
由于根基较浅，没有固定的势力范围，最初他们只能跑东跑西地到处流窜。一次，张作霖带着人想进入姜家屯歇息，但遭到了洪辅臣的一个头目“二谷瘪子”的阻拦。即便在洪辅臣帮派内，分了炉灶的各小派之间也是各吃各饭，姜家屯属于“二谷瘪子”的势力范围，他自然有充足的理由不让张作霖进来与之争利。
就在张作霖进退两难之际，姜家屯一个当铺的钟掌柜帮忙，他借口要请张作霖为他医马，将他们接入了姜家屯。歇息完毕，张作霖一伙人准备离开，恰好与一群做马匹生意的马贩子不期而遇，后者拥有刚刚从蒙古贩运来的大批好马。
对于“胡子”来说，好枪好马都是稀缺资源。张作霖等人一见眼就红了，他们一拥而上，从中劫夺了五十多匹好马。这样张作霖及其手下人就一人有了两匹马，可以一坐一换，他们也因此由“步胡子”变成了“马胡子”，不仅可以在辽西平原上纵横驰骋，而且也不再为别的帮派所小觑了。
在很长一段时间里，张作霖一直困厄潦倒，坎坷多难，很多次还差点命赴黄泉。他发迹后，就有人把他死里逃生的遭遇归结为有福，认为有福之人当大官掌大权乃是命中注定的事。
一般认为，张作霖的祖籍是山东，但也有资料显示是河北省大城县的冯庄，包括张作霖及其家人都这么认为。据说张作霖还曾专门回冯庄祭祖，其间就有遗老指着村头子牙河边的两棵老槐树，对他说：“你老人家高官得做，是有家乡老神树保佑啊！”
原来村里传说，清咸丰年间，忠亲王（即僧格林沁）曾和太平军激战于子牙河边，当时太平军数十人围住僧格林沁，拿箭射他。僧格林沁借着两棵老槐树的庇护，得以安然无恙，从此这两棵树也就成了当地的“老神树”。
张作霖听后只是一笑了之。在他的心目中，如果有什么能够保佑自己，姜家屯也许比“老神树”更有代表性。因为正是从在姜家屯劫马起，他的命运才开始发生真正的转变，仿佛是一夜之间，所有的事情都变得顺利起来了。