文宗咸丰二年冬十一月，命丁忧侍郎曾国藩在湖南原籍帮同料理本省团练事务。初，道光二十四年，湖南新宁举人江忠源赴大挑，得教职归，以新宁地接广西，民傜杂处多盗，察天下将乱，倡行团练，以兵法部勒乡人子弟，是为湖南团练之始。二十七年秋，傜民雷再浩勼众滋事，忠源率乡民捣其巢，擒再浩，是为湖南乡勇立功之始。
及咸丰元年三月，洪秀全自金田北走象州，朝命大学士赛尚阿出视师，闻忠源知兵，疏调军前。忠源募故所用乡勇五百，使弟忠浚率以来，号楚勇。楚勇始至，敝衣槁项，满蒙军皆匿笑。时敌氛张甚，屯兵数万，莫敢前。忠源筑垒逼敌营，以五百人出战，斩首数百，是为湖南乡勇出境立功之始。忠源既数立功，于是兵妒勇甚，所屯则私鬬，战败固不救，反陷之，忠源遂以病归。兵所至，且奸掠焚杀。民以为官兵肆暴虐，则倡议通敌，及结盟拜会，相挻起矣。国藩既奉命帮办巡抚团练，时湘乡先立练局，诸生罗泽南、王鑫办团练有名，巡抚张亮基令各募一营，助战守，号湘勇，并请国藩主其事。辞母忧不出，且言书生不知兵，已闻武昌破，湖南大震，始至长沙，与亮基治守御，且疏言：“团练之难，难于捐赀。湖南行伍空虚，以练兵为要务，自军兴以来，二年有馀，糜饷不为不多，调集大兵不为不众，而往往见贼逃溃，未闻有鏖战者；所用兵器皆大炮、乌枪，远远轰击，未闻有短兵交锋者，其故何哉？由兵未练习，无胆无艺故也。今欲改弦更张，于省城立一大团，择乡民壮健朴实者，招募来省。练一人收一人之益，练一月有一月之效。”又曰：“湖南会匪自粤逆入楚，大半附之而去，然犹有串子、红黑、边钱香会，成群啸聚，如东南衡永柳桂，西南宝庆靖州，万山丛簿，为卯育之区。有司亦深知其不可遏，特不欲其祸自我而发，相与掩饰弥缝，苟且一日之安。积数十年，应杀不杀之人而任其横行，令乡里无赖之民嚣然而不靖，彼见夫命盗首犯，常逍遥于法外也，见夫粤匪猖獗而莫制也，遂以为法律不足凭，官长不足畏。若非严刑峻法，无以折其不逞之志。臣欲纯用重典以锄强暴，即良民有安生之日。臣身虽得残恶严酷之名，所不敢辞。今之急务，在使通省无不破之案，而尽除大小各会匪，则涤瑕荡秽可期也。有曾经抢掠、拜会、结盟者，请即用巡抚令旗、恭靖王命，立行正法。内奸既清，外寇虽至，无能为已。”于是先清内讧，不经有司，掩捕即置重典，十旬中，戮二百馀名，一时谤议四起，至有“曾剃头”之称。国藩不顾也，乃以十二月治军旅，以召募易行伍，尽废官兵，专选士人、领山农，各自成营。拔考规制，今古章式，无可仿效，独戚继光书，号为“切时用”，因所言变通行之。以三百六十人为一营，中营罗泽南将之，左营王鑫将之，右营邹寿璋将之，塔齐布将兵勇成二营，周凤山、储玫躬各将二营，曾国葆将一营，是为湘军陆师编制之始。国藩仍欲充广至六千人，合忠源所将成一万，为义师。
四年，春三月，湖北军溃于黄州，曾国藩统水陆军东下。时国藩闻总督吴文镕败死黄州，知时事愈危，势不得出十全，于是改营制，以塔齐布、周凤山、储玟躬、林源恩，邹世琦、邹寿璋、汤名声、曾国葆统之，合水师共万七千人，建旗东下。其营制，每营设营官一人，分立前、后、左、右四哨，每哨设官一，营官有亲兵，有什长。其亲兵分六队，每队设什长一名，率亲兵十名，伙勇一名，计六队，凡七十二人。哨官有哨长一名，护勇五名，其外有什长，有正勇，有伙勇。一哨分八队，每队什长一名，伙勇一名。其抬枪队，正勇十二名，合什长、伙勇为十四名。其刀矛小枪队，正勇十名，合什长、伙勇为十二名。每哨合哨官、哨长、护勇为一百八人，四哨共四百三十二人，合之营官、亲兵为五百四人。队官在外，其书记医匠，或有或无，营官主之。其联伍之制，亲兵六队，则一队劈山炮，二队刀矛，三队劈山炮，四队刀矛，五队小枪，六队刀矛。每哨八队，则抬枪为第一队，刀矛为第二队，小枪为第三队，刀矛为第四队，抬枪为第五队，刀矛为第六队，小枪为第七队，刀矛为第八队，总计一营。劈山炮两队，抬枪八队，小枪九队，刀矛十九队，共为三十八队。其搬运辎重、军装、行粮，则有长夫、每营营官及帮办人员。共用长夫四十八名。搬运子药、火绳及一切军装等项，共用长夫三十名。营官亲兵队、劈山炮队，用长夫三名，刀矛小枪队，用长夫二名。计六队，用长夫十四名。如拔营远行，营官另拨公夫，帮抬劈山炮。哨官、哨长及护勇五人，共用长夫四名，四哨共夫十六名。其哨队，每抬枪队，用长夫三名，每刀矛小枪队，用长夫二名。计四哨抬枪八队，用长夫二十四名，刀矛小枪队，用长夫二十四名，共长夫四十八名，总共一营用长夫一百八十名，大率百人用长夫三十六名，合之营哨官员各勇人等，共六百八十五人，是为正额。或数营设统领一员，或十营，或十馀营，统一统领，则视其材之大小，无定制。其军器，立营时给之，怀敝修之，唯铅弹、药绳、帐棚得以时领。营官给十帐，八夹二单；哨官三帐，一夹二单；亲兵队二帐，一夹一单；哨队二帐，皆单；凡营帐，单者八十，夹者十八。其军行，以三百五十人，各备战器，百五十人督长夫护用器。前有探马，后有押帮，各从其营，无有或错。其行，率日三四十里，黎明而发，未晡而息，行所至为叠。营官相其地，准之以绳，从而为壕。壕丈五尺，复壕土为墙，厚一丈，其崇八尺。墙壕容二丈远，其馀土队为一棚，棚有