此时的起义军，很多确实是乱匪，他们会做出危害乡里的事情。作为衡州人，彭玉磷与很多湘人一般想要保护自己的乡里不受兵灾。

咸丰二年，彭玉麟的母亲去逝，他在家为母丁忧，曾国藩得知其才能，请其出山，为湘军做事，彭玉磷同意。他在衡州与曾国藩创办湘军水师，铸造火炮，制造大船，制船制营制章程。

咸丰四年，也就是今年年初，湘军衡州船厂毕工。是时，湘军水师初具规模，有湘勇五干人，被编为十营，其中在湘潭的有四营，以褚汝航、夏銮等为营官；在衡州的有六营，以彭玉麟、杨岳斌等为营官。当时其余九营多为武员，奏事都要倚仗彭玉麟，于是彭玉麟成为了实际上的水师领导者，“草创规制多所赞画”。

后世都说彭玉磷是湘军水师的缔造者，同时满清海军也是湘军水师演变而来，所以说彭玉麟也算是满清水师的创始人，是中国近代海军的奠基人。

其实，彭玉磷不过是擅长做事，他并没有专门学习过海军知识。营造战船的条目不过都是从书上学得。

但是他督造的战船，结构坚固，样式统一，还有不同类型、不同功能的战船。比那些野路子要强多了。

然而跟班算不上什么海军，只能算是老式的水军。

不久后，曾国藩发布《讨粤匪檄》，督湘军水师、陆师共计一万七干余人，自衡州启程，开始北伐。

不久后，太平军石祥祯部击败曾国藩湘军，再占岳州，湘军水师往长沙撤退。

与此同时，太平军林绍璋部攻占了湘潭，长沙也被围困，湘军大本营被威胁。

曾国藩召集诸营官议战守，推彭玉麟决策。彭玉麟支持左宗棠的观点，力主以主力攻打湘潭。

按照彭玉麟的规划，曾国藩派褚汝航领湘军水师五营驰赴湘潭，助塔齐布所率陆师攻打西征军。

但他违背彭玉麟事先的规划，自督战船四十艘、陆勇八百，合乡团进攻靖港太平军，水陆俱败。

曾国藩羞愤投水自杀，左右援救以出。

不过就在靖港兵败的同日，彭玉麟分领的一营水师进至近湘潭十里，侦知塔齐布陆师已大胜，于是相约水陆循城进攻，尽焚太平军辎重。

城中守军仓卒无计而弃城逃跑。湘军一举收复湘潭，不仅解了长沙之围，且使曾国藩重新拾回东征的信心。