在《水浒传》中，宋江第一次上梁山，曾受过他救命之恩的晁盖便要拜他为山寨之主，坐第一把交椅。宋江坚不肯从，说：“哥哥原是山寨之主，如何却让不才？”他甚至还声明，如果晁天王硬要让贤，那他情愿去死。
后人评《水浒》，评到这一段的时候往往就有一种意见，认为宋江十足虚伪，明明心里高兴，却还要假惺惺地忸怩作态。其实这种分析反而是违背了《水浒传》的本意，因为宋江在书中乃是正面人物，绝对的男一号，从这个角度上来说，他的所有言行都不能逾越作者所认同的江湖道德规范，而这种所谓的江湖道德规范，核心的东西其实就两个字：义气。
行帮各派，义气为重。晁盖让贤是“义”，宋江推辞也是“义”，他们都是在巨大的利益和好处面前互相进行推让，以此证明自己的价值观。
作为一个长期闯荡江湖的绿林中人，义气二字同样为张作霖所认同和尊重，所以不管他心里对做一把手究竟有没有意思，嘴上一定会坚决推辞。
张景惠不肯罢休，第二天，他把部下都召集起来，对众人说：“张雨亭（张作霖字雨亭）年富力强，志向远大，我情愿拥护他做团练的领袖，大家跟着他图个好的前程。”
张景惠这么讲义气，张作霖只能向宋江老前辈学习。当下他不仅执意不从，而且还吩咐手下收拾行李，表示如果张景惠一定要这么做，他就只能离开八角台了。
事情惊动了张子云，他亲自对张作霖进行挽留。在二张互相推让这件事上，则主张从全镇利益出发，让全镇人商议决定究竟谁来当民团的一把手。
在八角台，数张子云的面子最大，他一站出来，二张都无话可说。接下来一切顺理成章，在张景惠的竭力推荐下，镇上的人都同意张作霖坐头把交椅，张作霖实在推辞不过，这才接受下来。
得马者未必为喜，失马者未必为忧，经历挫折后的张作霖意外捡到金元宝，从此在八角台站稳了脚跟。这里也成为他恢复元气和进一步发展的基地，凭借八角台相对充裕的财力物力，张作霖开始招兵买马，扩大团练规模。
随着实力的增强，张作霖同周围其他帮会的矛盾也日益突出。一个绰号“项傻子”的“胡子”与金寿山等联合，对八角台实施了夹攻。见对方人多势众，张作霖忙派汤玉麟带一部分人到镇外驻扎，与八角台形成掎角之势，自己则与张景惠一道在镇上坚守。
对于八角台这样的“硬窑”加“红窑”，“胡子”通常都是要么不砸，要砸就往狠里砸。因为都知道窑里油水足，一旦“砸响”（打进去）便可以进去花天酒地，纵情享乐，所以在八角台“枪头子硬”，即便硬攻进去，也要死许多“崽子”（即喽啰）的情况下，“项傻子”等仍不肯收兵。
就在这一节骨眼上，张作相来了，立刻局势大变。
张作相是泥瓦匠出身，原来住在锦州柳条边墙一带。那一带在地理上是汉蒙两族居住的边界，民风彪悍，向有聚族械斗的传统习惯。家族中谁被人打死了，如果停灵不葬，就预示着他们要集合整个家族的力量继续进行复仇。
有一天，张作相的本家族弟遇上土匪，被打死了。族人便停灵不葬，并公推张作相带队复仇。张作相到处打听仇人的下落，后来得知对方已经入军营当兵，便紧追过去，找机会干掉了他。仇人的家属在当地也很有势力，马上到县衙鸣冤告状，为躲避官府的捉拿，张作相只得带上十几个本家兄弟浪迹江湖，带着人马前来八角台投奔张作霖。
张作相的人马虽然不多，但都很能打，又是在双方势均力敌的时候，因为他的加盟，张作霖终于挡住了“项傻子”的进攻。
张作霖与张景惠、张作相皆为海城老乡，且一见如故，有着相当好的私谊。三人于是结拜为兄弟，按照年龄顺序，张作霖居于老二，他称张景惠为“我大哥”，称张作相为“我三弟”。
加上汤玉麟，张作霖帐下已拥有三员颇为强悍的大将。有人分析认为，张作霖在东北绿林既是晚辈，初起时其力量同其他帮派相比也十分薄弱，后来实力之所以能够扩展得那么快，和手下这几员大将其实有着很直接的关系。