南宋朝廷无心作战，虞文辉大军所指，连战连捷，此时南宋终于反击，尤其是两位抗元名将，正是余玠和张钰，在历史上都曾大败元军。此二人用兵犀利，连战连捷，羽冲恒终究出身草莽，兵法远不及对手，一度退出了明州城。

羽冲恒虽然不敌宋军的反扑，却把明州所有的海船都带走，甚至把明州大多数人的口都撤出，让宋军得了一座空城。

历史上，南宋虽然对蒙古有胜有败，但因为人口充足，屡次大战之后，都能重新征召大军反击。

但虞文辉的授田制度，却让大多数汉人更愿意在他治下生活。毕竟有的田种，生活无忧，不须颠沛流离，名义上也非是在异族治下。虞文辉把自己是名人之后的优势，宣传的淋漓尽致，甚至把自己的家谱都明目张胆的贴满了每一个城池的醒目处，深入每一个村落，所以这些汉人并不以被他统治为羞耻。

汉军收复了明州，却发现此战所获，就连消耗的军粮都没法补充，更是一艘海船都不能抢夺回来，经过商议之后，四路大军留下两路镇守，另外两路去寻机跟蒙军决战。

虞文辉所部跟这两路大军交战数次，虽然互有胜负，但虞文辉却每次大战都能补充军队，补充军需，这两支汉人军队虽然勇猛，却得不到支援。

双方酣战数十场，虞文辉趁机调动另外一直兵马直扑临安，宋理宗大惊之下，派人出城谈判，虞文辉当即索要两路宋军的将领，并且许以三座城池为代价。

宋理宗权衡之下，居然答应了，亲自下令把两位两路宋军的统帅召回，送入虞文辉大军之中，虞文辉得了这两名将领，如约退兵，真的还了三座城池。

这一次合议，让虞文辉名声暴涨，南宋民心军心尽失。