二十一日，最先赶到衡州西部的日军第四十师团和第五十八师团，率先和守城部队交火，日军第四十师团是三联队九個步兵大队，第五十八师团是两旅团八个步兵大队，总计十七个步兵大队。

这次攻城动用了十二个大队，以步兵大队为批次，在炮火的掩护下不计代价的疯狂进攻，不断发动冲锋，看起来这次日军已经急红了眼，守城部队的伤亡也在增加。

机动部队和第四游击师仗着自身的火力强大，死守阵地绝不后退半步，一次次打退敌人的进攻，勇敢作战且战术运用得到，观战的史迪威将军对他们的表现非常满意。

通常是迫击炮打乱敌人的进攻队形，远一些距离使用勃朗宁大口径重机枪扫射，近距离是轻机枪和冲锋枪，从早晨打到晚上，日军一步也没法逼近，只留下一地的尸体。

二十二日上午，东条英机宣布辞去首相职务，小矶国昭奉命组阁。

日军第二十七师团和第三十四师团主力，急行军逼近衡州东北部的茶山坳，与守在咸塘镇的第三游击师爆发激战。第三游击师的任务是守护南部泉溪镇的生命通道，保障衢州的主力能够顺利撤出。

“我就不该对这些部队抱有奢望，以衡州为诱饵，把日军的主力部队吸引过来，然后中间开花夹击日军，现在想想，我怎么就这么幼稚，在山城政府混了这么多年，简直是白混了！”