这边潭州大军刚走，那边杨师藩趁潭州空虚，一路又绕道又缓行，小心谨慎，其间还驻扎了数日，打探到两军确实激战于朗州，方才命令部队立即拔寨，一昼夜抵达潭州。此时的潭州只有千余军队，还是原来的刺史军，见是武平军杀到立即开城，杨师藩随即收复潭州。

之后，杨师藩以八千军固守潭州，率领两万余人在朗州回潭州的必经之道上设伏，以逸待劳等候张文表。

那边张文表久攻朗州不克，正在思考如何破城呢，结果收到战报大呼不妙，武平军攻破了潭州城。如此一来，首尾不能相顾，张文表慌忙召集将领，准备收兵返回，欲夺回潭州。

其实，张文表此时正确的做法是立即撤出朗州向南退回衡州。不过，正如周行逢所估计的，怎么狂怎么来。张文表寻思朗州敌军众多，那潭州一定只有小股武平军，最多不过三五千人，大军杀回即可再夺取潭州。

武安军向潭州方向撤退，不知军情的王栋，还是畏惧张文表、并不敢追击只是固守朗州，静观其变。

而武安军从朗州返回潭州正中了杨师藩的埋伏，被打个措手不及。张文表不愧仅剩的名将，临危不乱稳住阵脚，组织部队有序反击。虽然折了数千人、还是将武平军的伏军打退了。但此时的张文表还不醒悟，下令部队继续向潭州进行。行至益阳隘口，还是以为能够快速攻下，只派了五千人去攻益阳。

杨师藩已经在此严阵以待，并派了三千余人绕行断了武安军的后路。攻益阳部队行至关隘还在想着如何破隘口，然后就傻了眼。武平军兵力远多于本军。领军先锋急中生智，探得临近一山无埋伏，立即把部队往山上带。武平军在杨师藩的率领下立即追击，武安军则且战且走，残余被困于一小山之上，准备固守待援。

杨师藩立即派了使者，以言语攻势呼喝。言及武平、武安两军生死患难，本是一家人；曾经联手复国又共御南汉强敌，何苦兵戎相见。张文表不顾兄弟之情，还能对你们好？现在张文表被困于朗、潭二州之间进退两难，不会有好下场的。武安军的将士们被说动了，纷纷缴械投降。

前锋去了踪迹全无，张文表才知道情况不妙，亲率武安军主力进攻益阳。杨师藩指挥武平军死守关隘；武安军在张文表的指挥下昼夜攻隘，并派小股部队绕道往山顶而去。

攻至第四日，张文表的小股部队到达山顶以巨石滚落砸关隘，以燃火的弓箭居高临下猛射。果真还是厉害，张文表的狂话也应证了他的实力，对南楚之地了如指掌，益阳关隘的弱点自然也知道的一清二楚。兵力相当，年轻的杨师藩竟然守不住益阳关隘，只好收拢部队火速撤往潭州。

张文表攻克益阳后，感觉到凭一己之力拿不下武平军，于是在益阳再写求援信。态度诚恳、希望朝廷收复朗州。不是他不想要朗州，而是张文表觉得不引狼入室，这仗很难打了…

可自负的张文表还想要潭州，在益阳休整片刻、下令进攻潭州。张文表的侄儿及诸将苦劝，此时应该退回衡州，等到朝廷大军进攻武平军，再做打算。张文表就是不听。他告知众人，汉军要是来了，别说潭州，武平军的地盘一个也拿不到。张文表看得倒是明白，他还要放手一博。

武安军连续作战，实在是劳累不堪，将士们已经没有了起初的高昂士气。第二次攻潭州城，情况已经大不一样了。两万多武平军对阵两万多武安军，根本就没有攻下的可能性。攻了两日不见希望，朗州的王栋已经率领两万多武平军追击而至、连夜劫营，武安军大败。张文表也在撤退的过程中了流箭。