正当曾国藩在京城为改革弊政不断上奏朝廷的时候，与他的家乡湖南省毗邻的广西省发生了一件大事。1851年1月11日，比曾国藩小三岁的拜上帝会首领洪秀全率领会众在广西桂平县金田村正式宣布起义，建号太平天国，留发易服，举起了反清的大旗。
与白莲教起义一样，太平天国也选择在新皇帝执政的第一年发动起义。这种新旧交替的时候，统治阶级内部往往会爆发比较激烈的斗争，有利于起义的蓬勃发展。太平天国起义的时候，咸丰皇帝即位还不到一年。1850年上半年为了镇压李沅发起义，这位从小沉湎酒色、毫无治国才能的皇帝已经焦头烂额了，没想到李沅发起义刚被镇压下去不到半年，更大规模的太平天国起义又爆发了。上天似乎已经下定决心，要惩罚一下这位清朝极少见的混账皇帝，不让他过一天舒坦日子。
清政府得知广西发生重大叛乱之后，调集重兵前往镇压。但此时的绿营，早已腐败透顶。各路军队只知道尾随跟踪太平军，从来没有一支军队敢于拦头迎击，因此经常被熟悉广西山区地形的太平军突袭。
江忠源以团练为基础组建起来的楚军虽然也进入广西参与镇压，但江忠源人微言轻，楚军又只有区区几百人马，所以，他们也抵挡不住太平军的进攻步伐。战火不可避免地向江忠源的家乡湖南省燃烧过来。
虽然江忠源的楚军在湘桂边境的蓑衣渡重创太平军，但他所掌握的兵力实在有限，无法防守所有的战略要地，太平军因此得以深入湖南腹地。
时任湖广总督程矞采是个无能之辈，他只知道以重兵防守衡州正面，使得太平军先锋部队得以轻松地绕道没有设防的安仁、攸县，直达湖南省城长沙城下。
这时候，太平军没有强大的水营，攻坚能力有限。他们在长沙城外遇到了很大的麻烦。而这时候，他们日后的宿敌湘军中的许多重要人物，纷纷聚集在了长沙城中。
在胡林翼的推荐和郭嵩焘的劝说下，左宗棠离开湘阴来到长沙，担任新任湖南巡抚张亮基的幕僚。这个日后将与曾国藩上演无数恩怨情仇的“湖南骡子”，就此登上了历史舞台。
左宗棠，湖南湘阴人。1812年生，小曾国藩一岁。左宗棠性格刚直，嫉恶如仇，眼睛里容不得半粒沙子。在湘军诸将中，与他性格类似的还有彭玉麟和李续宾的弟弟李续宜。不过，彭玉麟、李续宜不像左宗棠这么恃才傲物，所以他们后来和曾国藩合作得很好，而左宗棠却与曾国藩闹僵。
左宗棠来到长沙之前，江忠源已经率领楚军进入长沙。左宗棠、江忠源这一文一武的搭配令太平军丝毫看不到破城的希望，于是他们连夜撤退，迅速占领益阳、岳州。
在洞庭湖畔，太平军夺获了数千艘民船，建立起了强大的水营。从此以后，太平军如虎添翼，纵横长江两岸，如入无人之境，直到湘军水师在湘潭将他们击败。
正当太平军在湖南长驱直入的时候，他们未来的克星曾国藩还完全没有预感到他的命运即将发生重大转折。
他刚刚得到一个好差事，去江西充当乡试正考官。对于曾国藩来说，这个差事意味着自己可以捞取一笔不菲的银子，可以多收几十个门生。此刻的他，或许连做梦也不曾想到，他的人生轨迹将会因这次南行而彻底改变，他再次回到京城，竟是长达十六年以后。
1852年9月8日，曾国藩抵达安徽太湖境内的小池驿，从前来报丧的家人口中得知了他母亲病逝的消息。曾国藩悲痛欲绝，一边上奏向朝廷说明情况，一边连夜赶往九江，坐船西上，回到了阔别十二年的家乡湖南。
当时，太平军正在攻打长沙。曾国藩抛弃行李，与仆人专走小路，绕道湘阴、宁乡，于10月6日有惊无险地回到荷叶塘。
这时，湘乡已经戒严。罗泽南、王錱、李续宾等人率领的团练正摩拳擦掌，随时准备迎战进攻湘乡的太平军。全县上下掀起了大办团练、保卫桑梓的高潮。
曾国藩被这股热潮所感染，也积极参与到荷叶塘团练的编练中。他还用通俗浅显的韵文写了一组《保守平安歌》，奉劝乡亲们参加团练、保卫桑梓。
曾国藩的平静日子并没有持续多久。1853年1月12日，太平军第一次攻克武昌，曾国藩的好朋友、时任湖北巡抚常大淳自杀身亡。武昌失守后的第九天，也就是1月21日，咸丰皇帝通过湖南巡抚张亮基，给曾国藩寄来一道上谕，命他帮办湖南团练事宜。
当时，在太平军的凌厉攻势之下，清军绿营溃不成军，而国库存银已经全部花光，清政府已经不能指望正规军队镇压起义了。受江忠源楚军蓑衣渡大胜以及长沙解围的鼓舞，咸丰皇帝将希望寄托在了团练身上。他一口气任命了四十九名团练大臣。曾国藩是他任命的第二名团练大臣。这么多团练大臣当中，最终成功的只有曾国藩一个。
然而，曾国藩对于军事丝毫不感兴趣，他写好了一道请求在籍终制的奏折，准备托张亮基上交给朝廷。就在这时候，他的老朋友郭嵩焘突然以吊丧为名，来到荷叶塘。
看到郭嵩焘那气喘吁吁的样子，曾国藩又忍不住数落他几句：“筠仙，你这急躁的性子，啥时候能改一改啊？”
郭嵩焘一边喘气，一边断断续续地说：“涤兄，事情千万火急，所以我连夜就赶过来了。武昌失守，太平军很可能会再次攻打湖南。张中丞（张亮基）命我来请你去长沙。你现在赶紧收拾下，和我一起去长沙。”
清朝历来重视孝道，这是清廷制服权臣，尤其是武将的重要手段。权臣跋扈历来是王朝的大患。权臣在一个位置上待得久了，就肯定会形成自己的势力，要制服就难了。清廷为了对付权臣，除了频繁地调动外，最主要的手段就是提倡孝道，父母过世了必须回去守孝三年，祖父母过世了必须回去守孝一年。这样，权臣就很难霸占一个位置太长时间。凡是贪恋权位，不肯回去守孝的，都会遭到言官的猛烈抨击，迅速声败名裂。
曾国藩考虑到这一层因素，再加上他本来就没有出山的想法，所以他不想出山。他对郭嵩焘说：“筠仙，不是我驳你的面子，我是真不能出山啊。我朝素来重视孝道，虽然有皇上的圣旨，但那些言官还是会猛烈攻击。与其落得个身败名裂的下场，不如守在这万山之中，逍遥快活。再说了，我是朝廷重臣，理应为天下百姓做出榜样，百善孝为先。”
郭嵩焘一听就急了，挖苦曾国藩说：“想当年那个甘冒杀头之险抨击皇上的曾国藩哪里去了？这才一年多，就变成缩头乌龟了？大丈夫在世，当仗三尺剑纵横天下，上为朝廷君父排忧解难，下为黎民百姓再造太平，岂可畏首畏尾、明哲保身？”
曾国藩拍拍郭嵩焘的肩膀，道：“筠仙，我曾国藩的为人，你最清楚。我下定决心的事，谁也不能改变的。之前霞仙（刘蓉，号霞仙）也曾多次写信给我，请我去湘乡主持团练，我都拒绝了。他请不动，你也一样。我不像霞仙懂得谋划，也不像你筠仙伶牙俐齿，三言两语就能将左季高（左宗棠，字季高）请出山来，又懂得筹饷。我帮不了中丞什么，还是呆在家里好。我意已定，你也不必多说了。今天晚上就不要回家了，陪我下几盘棋。明天再回去复命，如何？”
郭嵩焘一听，又急又气，脸涨得通红。虽然他不得不照顾曾国藩的面子陪他下棋，但是他的心思始终不在棋上。眼看着败局已定，郭嵩焘以尿急为借口，离开了曾国藩的房间。
这时候，他看见曾国藩父亲曾麟书的房内还亮着灯光。他凑近窗户一看，只见曾麟书正拿着算盘在盘算着什么。郭嵩焘虽然没什么城府，但脑瓜子还是挺聪明的。就在此刻，他想到了一个迫使曾国藩出山的好计策。
郭嵩焘敲了敲曾麟书的房门，小声叫道：“伯父大人。”
曾麟书听到叫声，连忙放下算盘，打开房门。两人相互请安后，曾麟书见郭嵩焘满脸通红，笑道：“筠仙，你怎么这副神情？又和曾国藩吵架了？你们两个，一个固执，一个性急，总能吵得起来。”
郭嵩焘道：“倒也并没有吵架。伯父大人，嵩焘深夜来访，有一事相求。不知伯父大人可曾听说武昌失守的事？”
曾麟书点点头，说：“听曾国藩讲过。武昌是九省通衢，这件事对于天下大局，将会产生很大的影响。”
郭嵩焘道：“伯父大人所言甚是。长毛攻克武昌后，很可能回头攻打湖南。只有经天纬地的大才，才能应付这种局面。这个人，非涤生兄莫属！”
曾麟书道：“你这次来，就是来请他出山的吧？”
郭嵩焘道：“正是。可涤生兄刚才已经拒绝了我的请求，所以还请伯父大人帮我个忙，去劝一劝涤生兄。只要您肯出面，不仅涤生兄无法拒绝，就是京城那帮言官们，也不好抨击他。”
曾麟书沉思了一会，对郭嵩焘说：“你跟我来！”随即迅速走向曾国藩的房门。
曾国藩看到父亲和郭嵩焘一起前来，有些愕然。曾麟书对他说：“宽一，筠仙这么老远赶过来请你出山，如何不答应他？”
曾国藩道：“爹，我才替母亲守孝三个月，怎么可以出山？”
曾麟书道：“忠孝，忠孝，忠在前，孝在后。国家有难，大丈夫理当移孝作忠，替国家办事。我已经答应筠仙了，你跟他去长沙。至于给你守孝的事，就交给国潢、国荃他们吧。”
曾国藩历来孝顺，既然曾麟书这么说，他也不好再拒绝了。于是他默默了打点好行装，准备跟随郭嵩焘前往长沙。就这样，曾国藩迈出了对他一生来说最重要的一步。昔日纸上谈兵的兵部侍郎，此刻要开始建立属于自己的军队了。对中国近代史将产生重大影响的湘军，终于要破茧而出了！
曾国藩来到长沙后，首先拜见巡抚张亮基。张亮基知道曾国藩是个有想法的人，叙礼完毕之后，便问曾国藩：“涤生兄就任新职，将有怎样的布置？”
对于这个问题，曾国藩在来长沙之前就已经有了通盘考虑。他对张亮基说：“如今最关键的是要建立一支新军。绿营是靠不住了，贪生怕死，临阵退缩，就是武侯（诸葛亮）再生，也不能改变他们的气质，就是岳王（岳飞）复活，也不能将他们训练成精兵。团练，用来保卫桑梓还行，出省作战就不行，想靠它来平定长毛，无异于痴人说梦。所以，我们要大胆改革，建立一支掌握在我们手中的新式军队，才能与长毛决一雌雄。”
张亮基听完曾国藩这一番话，非常佩服，但也有些担心。他对曾国藩说：“涤生兄的气魄，令人佩服！但本朝最忌讳的就是汉人掌兵。你要建立新军，恐怕皇上那会有些阻力。”
曾国藩道：“这个我已经想好了。对皇上那里，我们依然只是说办团练。而且，我们还要重用满将，绿营也可以和新军一起训练。这样，朝廷就不会有太多的疑忌了。此事还望中丞大人予以支持。”
张亮基点点头，说：“言之有理，就照你说的办。现在全省上下，由于长毛的煽动，造反的很多，不知涤生兄如何处置？”
曾国藩道：“乱世需用重典，对于那些造反者，应该格杀勿论。宁可错杀三千，不可放过一人。这样社会才会清净。我准备成立一个审案局，专门处理这类案件。”
张亮基这个人，个人能力不是很突出，但他有个最大的优点，那就是舍得放权。他身为巡抚，却任由曾国藩编练新军，成立审案局，将全省的军事、司法大权全部交给曾国藩，这种魄力不是一般人所能有的。这也是他能够在湘军的历史上留下浓墨重彩的一笔的重要原因。
辞别张亮基后，曾国藩即上了一道《敬陈团练查匪大概规模折》的奏折，其主旨就是要建立一支新的军队。
在这封奏折里，曾国藩向皇帝说明了湖南的兵力现状：绿营部队多数已经被调往其他省平叛，湖南兵力空虚，一旦回头攻打湖南，湖南将遭遇灭顶之灾。长沙尤其是重中之重，必须将全省的团练聚集起来，建成一个大团练，才能与长毛较量。
曾国藩在奏折中直说办团练，掩盖了成立新军的真实企图，并且他一再强调，办大团绝不需要朝廷拨一两银子，这令当时已经陷入财政危机中的咸丰皇帝感到很舒心。
咸丰皇帝看到曾国藩的这封奏折后，只批了几个字：“知道了，悉心办理，以资防剿。”这么简单的批复，丝毫看不出皇帝对此事的关心，他并没有对曾国藩所要办的大团抱太大希望。但对曾国藩来说，这是求之不得的，因为皇帝的批复越简单，他运作的空间就越大。
在得到皇帝的首肯后，曾国藩开始他的建军事业。各府县的团练纷纷来到长沙，参加集训。对于绿营，曾国藩早已不抱希望，但是他仍然不得不对它进行改造，因为只有这样，他另立新军的企图才能很好地隐藏。
这一天，曾国藩准备召集长沙城内的绿营部队来一次集训。三通鼓响，并没有任何绿营士兵前来报到。
过了一会儿，才有稀稀落落的几十个绿营兵前来，其中有一位虽然个头不高，却长得非常结实。从他那坚毅的神态中，曾国藩似乎看到了某种无形的力量。
不久，曾国藩再次命令亲兵敲响鼓声，然而并没有更多的人到来。这时候，天空下起了淅淅沥沥的小雨，曾国藩的亲兵连忙给他撑起雨伞。令曾国藩感到惊讶的是，刚才到来的那几十号绿营兵居然站在场中不动，任由雨水淋湿全身。
曾国藩觉得这几十个兵与普通的绿营兵不同，他们有着铁的纪律。于是，他走到他们面前。
“末将参见大帅！”那个体态结实的汉子对曾国藩施礼道。
曾国藩仔细地打量了他一番，发现这人身材虽然不算高大，但虎虎有生气，是个天生的将才，于是问他：“你叫什么名字？”
“末将塔齐布，满洲镶黄旗人！”回答干净利落、铿锵有力。
曾国藩打心底里喜欢这个塔齐布。此刻的他，正需要塔齐布这样一位有着旗人身份的将才来统领湘军。只要重用塔齐布，朝廷就不会怀疑他曾国藩想掌控兵权。于是，曾国藩继续和塔齐布攀谈道：“本帅已经敲了两通鼓，前来集训的人也才这么几十个，其他人呢？”
塔齐布道：“大帅有所不知，绿营向来是不训练的。绿营官兵的薪水都很低，没有副业根本维持不了生计，有人贩卖各种百货，有人贩卖武器军马，也有人贩卖鸦片。副业多了，也就基本上不训练了。”
听到“鸦片”二字，曾国藩立马皱起了眉头。这害人的劳什子，祸害普通百姓也就算了，居然连军队也被它腐蚀，长此以往那还得了！沉默一小会后，曾国藩又问：“军队不训练，怎么打胜仗？”
塔齐布摇摇头，深深地叹了一口气，道：“打不了胜仗。这些绿营兵遇到弱敌，或许还能跟在别人后面冲几下，要是遇到强敌的话，肯定掉头逃跑。平时不训练，武艺不精，临阵自然不敢拼命。”
曾国藩点点头，道：“你说的这些弊端都很重要。本帅受皇上委派整顿湖南军队，你要多提意见，帮我参考！”
“是！”塔齐布厉声叫道。
正当两人在校兵场中交谈的时候，又有十几个兵来到集训队伍中。其中为首的一个身材颇为高大，却浑身透着匪气。当曾国藩用锐利的眼光看着这个人的时候，只见他猛地打了一个嗝，显然是刚刚吃饱喝足。
“长沙协副将清德参见大帅！”声音断断续续，有气无力。
曾国藩走到清德面前，替他整了整官服，然后一言不发地离开了校兵场。清德在官场混了几十年，从来没见过曾国藩这么奇怪的人，目瞪口呆地目送曾国藩离去。曾国藩的第一次练兵，就这样很不和谐地结束了。
在与塔齐布多次交谈后，曾国藩认识到，绿营的问题远比他之前想象的要严重。除了痛加整顿、严加训练，别无其他办法可以使这支老态龙钟的部队恢复生机。
转眼就到了六月三伏天，作为中国三大火炉之一的长沙热气蒸腾，酷暑难耐，但曾国藩依旧命令团练与绿营照常训练。团练都是由乡下农夫组成，并不惧怕酷暑，绿营可就不一样了。他们长期养尊处优，一点苦都吃不得，更何况是酷暑训练。于是乎，以长沙协副将清德为首的一大批绿营官兵开始抵制曾国藩的练兵计划。他们联合了湖南提督鲍起豹，准备将曾国藩赶出长沙。
在清朝，为了防备总督、巡抚专权，设提督掌管一省的军事，设布政使掌管一省的民政、财政，设按察使掌管一省的司法，都直接听命于六部，不受总督、巡抚节制。所以按理说，湖南的军权应该由提督鲍起豹掌控，但自打曾国藩开始编练大团之后，全省的军队都归了曾国藩管，鲍起豹完全被架空，这令他非常不爽。当清德一伙人请他领头对付曾国藩的时候，他爽快地答应了。不过，他是个老油条，从不真正出面，只是怂恿清德等人缺席训练、制造摩擦，令曾国藩苦恼的很。
曾国藩忍无可忍，只好先发制人，对清德动手。这时候，张亮基已经调任湖广总督，接替张亮基任湖南巡抚的潘铎只做了几个月就因病请辞，接替潘铎的是前任湖南巡抚骆秉章。
骆秉章是湘军史中的一位关键人物。他和洪秀全一样，都是广东花县人。作为洪秀全老乡的他，最终却为湘军的发展壮大贡献了毕生绝大部分精力，这或许也是一种宿命吧。
骆秉章生于1793年，长曾国藩十八岁。他的性格和左宗棠差不多，比较刚直，眼睛里容不得沙子。他的这种个性令他在当时的官场中成了另类，但也正是因为这个，使他得到了道光皇帝以及穆彰阿的信任，得以出任湖北按察使。1850年任湖南巡抚，1852年因阻挡太平军北进不力被撤职。此时重新担任湖南巡抚。
骆秉章并不喜欢曾国藩。不仅骆秉章，布政使徐有壬、按察使陶恩培等人，都不喜欢曾国藩。为了参掉清德，曾国藩不得不舍近求远，请求远在武昌的湖广总督张亮基助自己一臂之力。张亮基对于清德的混账行为也早有所闻，于是欣然答应。曾国藩和张亮基的奏折同时来到京城，咸丰帝毫不犹豫地将清德撤职。
曾国藩原以为参掉清德就可以解决一切问题，令他始料不及的是，这不仅没有解决任何问题，反而加深了他与骆秉章、鲍起豹等人之间的矛盾。曾国藩主导的审案局，在这段时间内肆意地干涉民政与司法，完全架空了骆秉章等人，更是令他们对曾国藩咬牙切齿，必欲除之而后快。
这时候，又发生了一系列意外事件，团练与绿营之间的矛盾迅速激化。首先是1853年的8月份，一名湘乡勇丁在练枪的时候，误伤了绿营的一位长夫。绿营兵大怒，吹起号角，挥舞旗帜，列队攻击湘乡勇，城墙上的军士都跨越矮墙跑出来，闹得城内官民人心惶惶。
面对绿营兵的咄咄攻势，曾国藩决定以退为进，他将闯祸的勇丁绑在校兵场的旗杆下，当着所有绿营官兵的面，亲自执鞭，狠狠地将那人鞭打了一番。曾国藩的苦肉计骗过了绿营官兵，事情平息了下来。
然而，仅仅过了不到一个月，一场更大的风波爆发了。事情的起因是鲍起豹手下的永顺兵与塔齐布手下的辰州勇发生械斗。
鲍起豹得知消息后，认为这是攻击曾国藩的好机会，便暗中指使永顺兵将事情闹大。永顺兵得到提督的支持，便吹着号角，排成队列，围攻辰州勇。不久，他们又包围了塔齐布的参将署，而长沙的文武官员全都坐视不管，他们都在盼着曾国藩倒霉，从而主动离开长沙。
械斗的消息传到曾国藩的耳中后，他想：这次如果不采取果断措施的话，这种械斗将会经常发生，没完没了，湘军也就不可能练好。于是，他决定将带头闹事的几个永顺兵抓起来，杀一儆百。
按照惯例，这种抓人的事得由提督来做。于是，曾国藩给提督鲍起豹行文，请他抓人。鲍起豹唯恐天下不乱，他一面按照曾国藩所列的名单抓人，一面在永顺兵中散步谣言，说曾国藩要将带头闹事的永顺兵全部斩杀，还要克扣永顺兵军饷三个月。
谣言在永顺兵中迅速传播，军营全都炸开了锅。这天夜里，在几个首领的带领下，这些永顺兵一窝蜂地奔向曾国藩的办公地点，准备以武力逼迫曾国藩放人。
曾国藩丝毫没有感觉到将有大事要发生，此刻他依旧按照往日的生活习惯，在煤油灯下读书。突然，外面响起了厮杀的声音。“曾国藩，你出来！你出来！”的声音此起彼伏，夹杂在厮杀声中向曾国藩耳中传来。
曾国藩连忙推开门定睛一看，只见一大群永顺兵，有的举着火把，有的拿着刀矛，与自己的亲兵纠缠在了一起。曾国藩还没弄明白是怎么回事，一个彪悍的永顺兵闪过曾国藩的亲兵，举起长矛，向着曾国藩猛刺过来。
曾国藩下意识地躲闪了一下，矛头擦着曾国藩的耳垂稳稳地钉在了墙壁上。正当那永顺兵拔出长矛准备再刺的时候，身手敏捷的曾国藩已经从房间的后门逃向了后院。
这后院和巡抚衙门是连着的，骆秉章就住在巡抚衙门内。曾国藩一边使劲地敲打着巡抚衙门的大门，一边大喊道：“中丞大人，中丞大人！开门，快开门！永顺兵哗变，要害我性命！”
或许骆秉章是真的没有听见，又或许骆秉章实在不愿意救援曾国藩，巡抚衙门的大门，始终没有打开。
这时候，刚才的那位彪悍的永顺兵又追了过来。正当那人再次举起长矛，向曾国藩刺来的时候，巡抚衙门的大门终于开了。骆秉章从门中走出，对着那永顺兵厉声喝道：“你想干什么！”那人见是骆秉章，连忙收回长矛，站立一旁。这时候，外面的永顺兵全部拥了进来，高举着火把和刀矛，向曾国藩和骆秉章示威。
骆秉章继续喝道：“你们想干嘛？谋杀朝廷大员该当何罪，你们不清楚吗？还不给我退下！”
人群并没有被骆秉章吓倒，谁也没有离去。那位彪悍的永顺兵站了出来，指着曾国藩道：“曾国藩欺人太甚！辰州勇与我们打架，却只处决我们的人，辰州勇那边一个人也没抓！还要因此克扣我们三个月军饷，岂有此理！曾国藩不给我们一个说法，我们绝不回去！”
骆秉章见硬的一手没有奏效，只好用软的一手。只见他摆一摆手，示意大家先冷静下来，然后说：“弟兄们，我想大家是误会了。你们的那几个兵，是曾大帅请来核实情况的，根本没有处决一说。至于克扣军饷，那更是无稽之谈，大家切莫相信！”
那位彪悍的永顺兵道：“你说的，可是真话？”
骆秉章道：“我堂堂的湖南巡抚，两千万百姓的父母官，怎么会言而无信！”说罢，他将自己的亲兵叫过来，交待他说：“去把那几位永顺兵放了！”
待那几位永顺兵被放出后，聚集在巡抚衙门后院的这群举着火把刀矛的永顺兵才慢慢散去。
刚与死神擦肩而过的曾国藩仍有些许后怕，他努力迫使自己镇静下来，然后对骆秉章施礼道：“谢中丞大人救命之恩。”
骆秉章拍了拍曾国藩的肩膀，笑道：“涤生，你还是太嫩了，办事太操切，得罪的人太多，以后像这种抓人的事情，还是应该和我商量后再做决定。我现在担心的是，你躲得过今天，躲不过明天。你得想个法子才行。”
这天晚上，曾国藩整夜没睡。湘军以及他个人的命运，现在都到了一个节点上。如果不采取果断措施加以改变，那么不但湘军练不成，自己也有性命之虞。翻来覆去想了一整夜之后，曾国藩决定将乡勇拉到衡州去。
衡州是曾国藩的第二故乡。曾国藩家族的祖籍地就在衡州，他的妻子欧阳夫人也是衡州人，他自己也曾在衡州读过书，他在衡州有着许多亲朋戚友。曾国藩想：离开长沙前往衡州，就能与龌蹉的长沙官场彻底分离，如果能够利用好自己在衡州的人脉关系，就一定能够有所作为。
就这样，曾国藩带着他刚刚练成的乡勇前往衡州，长沙练兵结束，衡州练兵开始。树挪死，人挪活，后来的事实证明，曾国藩的这一决策是相当英明的。
离开了官场的牵绊，曾国藩得以集中全力练兵。在衡州期间，曾国藩做成了两件大事。日后对于中国近代史将产生巨大而深远影响的湘军，正式产生了。
第一件事就是改革绿营兵制，完备湘军兵制。这项工作，曾国藩在长沙练兵的时候就已经开展了，但真正取得成效并最终确定下来，则是在衡州期间。
绿营兵制有着许多弊端，其中最为主要的是它的征调制度。按照绿营兵制，为了防止武将拥兵自重，每当有战事发生，由朝廷委派将领前往处理，由户部负责粮饷的筹集调发。在某些省的绿营部队中每一营抽取若干人前往事发地点，组成新的营队，归朝廷委派的将军节制。
将领和士兵都是临时派出的，他们彼此之间并不熟悉。将军不知道士兵的长处，士兵也不信任将军，士兵之间更是缺乏默契。这样的军队一到战场上，都是自己顾自己，败不相救也就成了常态。
为了防止出现这一弊端，曾国藩为湘军制定了一系列新的制度。首先从招募上来讲，湘军统帅要招兵，必须先选择统将数名，由统将选择营官，营官选择哨弁，哨弁选择什长，什长选择士兵。各级军官所选择的，往往是自己的亲戚、老乡、朋友或者弟子。这样的一个由封建伦理关系构成的严密的金字塔结构，使得湘军各级军官对于自己的部署拥有绝对的控制权。另外，湘军的粮饷绝大部分都是自己筹集的。这样的军队，朝廷是根本指挥不动的。
由于都是熟人，无论是将领与士兵，还是士兵与士兵，彼此的感情都是非常深厚的。到了战场上，他们都是同进同退，不离不弃。这是湘军之所以有战斗力的重要原因。
绿营的第二个弊端是官气太重。没事战事的时候，讲究繁文缛节，不切实用；一到战场上就争先逃跑，生怕吃亏；论功行赏的时候就大肆夸耀自己的战功，贬低别人；战败受罚的时候就推诿责任，将原因归结到别人身上。这样的部队，徒有花架子，毫无战斗力。
为了防止出现这一弊端，曾国藩首先在招募上下功夫。湘军招募士兵，有着严格的规定。最重要的一条是不收市井之人，只收山野农夫。山野农夫朴实粗犷，没有城府，不会算计人，也不会太在意礼节。招募湘军士兵，需要有亲朋邻居作保，这样就避免了地痞流氓混入湘军队伍中，也避免了出现空额。另外，湘军的法令非常简单，营规只有几条，士兵只需打仗，不必深究礼节。所以，湘军上下充满着土气，与绿营截然不同。
绿营的第三个弊端是饷银太薄，士兵副业太多。绿营的饷银，分战时和非战时两种情况。战时的饷银很高，所以太平天国才起事两年，清朝国库就空了。但是，在没有战争的时候，绿营的饷银非常薄。这种有兵籍的家庭，往往不再从事种地之类的社会低层工作，这样一来，一个兵往往要养一大家子吃闲饭的。在这种情况下，士兵必须通过从事副业来赚取更多的钱。士兵把精力都放在副业上，平时的训练也就马马虎虎了，到了战场上也就只能是三十六计跑为上计。
针对这一弊端，曾国藩规定湘军饷银，战时与非战时都是一样的。这样，在有战事的时候，同等数量的军队，湘军的饷银支出比绿营要少许多，为国家节省了不少钱财。无论是战时或者非战时，湘军的饷银都足以令每个士兵家庭获得温饱。另外，湘军士兵都来自农村，家庭并不会因为有人参军而放弃农业，所以士兵身上的家庭负担不算太重。因此，湘军士兵无需从事副业赚钱。除此以外，曾国藩还创造性地在军队中设置长夫，粮饷物资全部由长夫搬运，这样一来，士兵只管打仗，无需担心没饭吃等等，也就不会去和商贾接触，沾染污浊气息。
绿营的第四个弊端是军纪败坏。绿营中没有长夫，不带棚帐，所到之处，需要征夫搬运，住民房，这样就难免骚扰民众，甚至经常发生抢掠事件。绿营官兵中，爱好赌博、吸食鸦片的很多。
湘军中设有长夫搬运物资，随军带有棚帐，所到之处与民秋毫无犯。湘军严禁赌博、吸食鸦片等。湘军初期的军纪要远远好过绿营和太平军，但是后期由于扩招的太迅速，鱼龙混杂，军纪逐渐败坏。
曾国藩对绿营兵制进行上述变革，从而彻底改变了清朝延续了两百多年的兵制。这一改革对于中国近代史产生了深远的影响，后来的李鸿章、袁世凯以及民国各路军阀，大多按照曾国藩的兵制训练新军。
曾国藩在衡州做的第二件大事就是创建了湘军水师。湘军水师的建设始于曾国藩，但促成此事的却是江忠源和郭嵩焘。
1852年底，太平军在洞庭湖畔抢夺民船数千艘，以此为基础成立水营。在攻克武昌一战中，太平军水营开始展现它的威力。当时清政府也从各处调来一些民船，准备与太平军在水上决战，但无奈数量太少，瞬间就被太平军摧毁。武昌因此陷落。紧接着，太平军凭借着强大的水军，一路东下，迅速攻克安庆、江宁。
这个时候，曾国藩、江忠源等人都意识到，没有一支强大的水师，恐怕难以战胜太平天国。要建立水师，必须征得朝廷的同意和支持，然而，朝廷历来忌讳汉人掌兵，是很难同意这件事的。
1853年6月，太平军西征攻打南昌，江忠源奉命增援，郭嵩焘也跟随罗泽南的湘乡勇前往镇守南昌。
郭嵩焘见太平军拥有千余艘船只，在南昌城外往来如飞，如入无人之境，而官军却无一艘船只，建议江忠源上奏请求建立水师。
江忠源表示赞同，随即写好一封奏折，将建立水师的好处一一列举，叫人快马加鞭送往京城。当时，太平军所到之处，清军都打败仗，只有江忠源能打胜仗。咸丰皇帝对他很欣赏，自然也就同意了他建立水师的请求。之后，江忠源没有来得及建水师，就被派往了凶险的安徽战场，最终在庐州丧命。
江忠源上奏后，很多省份都办起了水师，但真正将水师办成功的，只有曾国藩一人。
当时，湖南偏处内陆，没有人见识过真正的新式战船，而广东是鸦片战争的主战场，那里的水师人才大多见识过英国人的炮船。太平军初期的水军也和鸦片战争有着密切的联系，其主力就是在鸦片战争后被遣散的水勇。这些人能够模仿英国人的战船，制造简单的炮船。所以，在广西境内与太平军作战的各路清军，大多见识过太平军的炮船。
这样一来，包括曾国藩在内的许多清朝官员，都有一种盲目崇拜两广水军的情怀。湘军水师初期的重要将领，褚汝航、夏銮、李孟群、陈辉龙等人，都是从两广调过来的。
然而，事实证明，见识过先进炮船甚至会造先进炮船，并不意味着能带好一支水师。武器固然重要，但决定战争胜负的还是人。湘军水师之所以在日后会有那么强大的战斗力，是因为其中注入了湖南人的血性，不要官，不要钱，不要命，才能无往而不胜。
在这一过程中，彭玉麟和杨载福起到了非常重要的作用。曾国藩来到衡州练兵的时候，彭玉麟正在为母守孝。曾国藩三次前往探视，终于说动彭玉麟墨绖从戎，加入了湘军。杨载福自镇压李沅发起义后，一直在绿营军中担任下级军官，因为作战勇猛，名气很大。曾国藩来到衡州练兵后，将他调了过来。
彭玉麟、杨载福各有所长。彭玉麟长于谋划，人品较好，和曾国藩一样，都是所谓的道德圣人，但临战能力不是太强。杨载福作战能力强，但读书少，谋略不足，在道德方面算不上完美。
彭玉麟、杨载福初入湘军水师的时候，只是普通的营官，排名在褚汝航、夏銮之后。但褚、夏二人都是外省人，与湖南的山野农夫无法用语言交流，所以他们能招到的好兵不多，带兵的效果也不好。他们从广西带来的部队，又与湖南兵水火不能相容，经常火拼。这样一来，褚汝航、夏銮虽然是名义上的湘军水师统领，但其实他们的地位很尴尬。彭玉麟、杨载福能够崛起，固然是由于能力出众，但也是客观因素所造成的必然结果。
曾国藩对于湘军水师寄予厚望，为了加强水师的战斗力，他不惜花费巨资购买西洋大炮，并且置朝廷的屡次催促和好友江忠源、恩师吴文镕的存亡于不顾，不训练好绝不出兵。事实证明，曾国藩将赌注压在水师上，是正确的选择。湘军之所以能够战胜太平天国，水师的创建是关键。