8月3日以后，日军因进攻屡屡受挫，后勤补给也日渐艰难，横山勇不得不下令由全面进攻改为重点进攻。可是这些日子以来，日军的伤亡已经达到了16000人以上，其第68、第116师团早已是伤亡过半。而守城的中国军队也有1万多人，伤亡比率是1：1.6。横山勇花费如此重大的代价，除了占据了部分守军阵地外，其他方面无一所获，惟独让横山勇高兴的地方就是，中国军队的援兵始终没有动静，不知道是什么原因导致了中国军队的援兵迟迟没有到位。
日军由全面进攻改为重点进攻后，衡阳城内的第10军也获得了喘息的机会。于是，方先觉也暂时稳定住了防线。几经激战，第10军的弹药、给养等已经耗尽，知道8月8日中午，中国空军才飞临衡阳上空进行空投补给。由于日军战机的干扰，这次空投补给进行得很匆忙，弹药、给养只获得了少量的补充。
横山勇本以为衡阳指日可下，没想到第10军居然是如此的顽强，对衡阳防御阵地进行了多次猛攻以后，不但没有拿下衡阳，反而还落得个伤亡惨重。改为重点进攻后，横山勇边集中兵力进行重点打击衡阳防线的几处重要的支撑点，边向冈村宁次发电报，请求冈村宁次尽快的给他提供补充兵员，补充弹药、给养等物资，等兵员和物资齐备后，就发动对衡阳的第二次全面进攻。
冈村宁次在有限的兵力中，为横山勇补充了兵员，弹药、给养等物资也陆续的运了过来。于是，横山勇在8月11日，再次发动了全面进攻。进攻伊始，日军的飞机就开始了猛烈的轰炸。战至中午时分，日军的重炮部队又开始了猛烈的炮击，直到下午2点的时候，日军步兵才漫山遍野的杀了过来。当天夜里，400多鬼子偷偷的摸进了江西会馆和衡阳火车站间的阵地内，然后分别朝江西会馆和衡阳火车站方向进攻，给中国守军造成了极大的混乱。
190师569团在得知日军已渗入防线内以后，就由团长李刚亲自带队，与渗透进来的鬼子进行了一场激烈的肉搏战。李刚带领的敢死队死战不退，并用火力截断了鬼子的后续部队，用了3个多小时的时间才将渗透进来的鬼子全部歼灭。12日上午，激战再起。鬼子发动了更加凶猛的进攻，569团的官兵们抱着必死的决心，在团长李刚和副团长李洪峰的指挥下，在几进几退的反复争夺之后，才将鬼子们赶下了阵地。
与190师的战况比起来，第54师可就不轻松了。鬼子成功的杀入了54师的防线，并占领了54师的核心阵地--铁路机修厂，鬼子们把机枪架到了屋顶上向四周扫射，极力阻止第54师的反攻。
第54师的损失很大，全师官兵也仅剩下4000余人了，师长周洋为了尽快夺回阵地，亲率师警卫营冲了上去。在付出了巨大的伤亡之后，终于重新夺回了铁路机修厂。但是还没等周洋喘过气来的时候，他的副官匆匆跑来告诉他，副师长张昭义带着357团擅自撤退，从城西的方向逃跑了，看样子他们是打算逃到湘西的大山里去。周洋知道副师长张昭义本就是土匪出身，那357团都是他的老部下。当年正是由于与其他的匪帮争霸失利，才下山投奔了国军。投降后就被编在了自己的警备旅里，直到42年的时候，第10军组建时便被整编成了第10军第54师。
副师长张昭义的逃跑，给周洋造成了很大的打击，他不得不将情况上报到军部。军长方先觉一听到这个消息，顿时就发了火，大骂周洋没用，并下令撤掉了周洋的师长职务，等战后再接受处理。但54师的情况已经是万分危急了，方先觉只好将军部警卫团交给了军参谋长王荣波，让他火速带警卫团增援第54师，并暂时代理54师师长一职。
王荣波来到了54师师部，见到了已经被撤了职的周洋，王荣波对周洋说道：“我跟军座求过情了，你暂时留在师里，协助我指挥部队，也算是给你一个带罪立功的机会吧。”听了王荣波的话，周洋感激的说道：“谢谢参座，卑职感激不尽。”王荣波摆了摆手，然后说道：“你不用感激我，你好自为知吧。”周洋有些不甘心的说道：“这个张昭义！我一定饶不了他！”一提起张昭义来，王荣波担心的说道：“你说他会不会去投奔鬼子啊？”周洋想了一下，然后回答道：“我想那是不会的，如今鬼子已经大不如从前了，现在投奔过去，根本就得不到什么好处的。我想他一定是逃进湘西的山里去了，重新干回了他的老本行。”王荣波叹了一口气，接着说道：“算了，咱们不提他了。你去收拢一下部队，清点一下损失吧。”周洋答应了一声就走出了师部，王荣波盯着地图上的敌我态势，苦苦的思索着接下来的战局。
由于连日来的苦战，54师的官兵精疲力竭，在防线上出现了漏洞。8月13日夜，鬼子500多人分成两个波次偷袭54师的防线。战至深夜，54师前沿阵地落入敌手，守卫该阵地的358团残存的2个营600余人发起逆袭，总算是夺回了阵地。14日中午，鬼子再次发动攻击，阵地第二次陷入敌手，周洋再次亲率师警卫营赶去支援，激战到黄昏时分，才从鬼子手里夺回了阵地。谁知正当官兵们休息的时候，又遭到鬼子的反扑，周洋身先士卒率先扑向了鬼子，在激战中不幸身中数弹，壮烈殉国。警卫营和358团官兵见师长殉国了，一个个瞪着血红的眼睛，怒吼着杀入敌群，双方在血流成河的战场上展开了激战。战斗之惨烈，惊天地泣鬼神，中国军人再一次用他们的血肉之躯，打退了鬼子们的进攻。
第二天清晨，王荣波来到了前沿阵地上，他看着那些残破的工事，含着眼泪下令在阵亡将士的尸体上加盖一层沙土，筑成能阻挡子弹的战壕。王荣波对此感到很无奈，因为战事紧迫，根本就没时间来打扫战场掩埋尸体，唯一的办法就是把弟兄们的尸体筑成战壕，让活着的弟兄们凭借着这些血肉筑成的战壕，继续与鬼子们战斗下去。
下午2点，鏖战又起。战至黄昏时分，前沿阵地再次失守，358团全体官兵无一人后退，全部战死在了前沿阵地上。王荣波抽调出500多人，组成了敢死队，连夜向鬼子发动逆袭。双方针对前沿阵地再次进行反复冲杀，互有进退。直到14日拂晓以后，前沿阵地才失而复得，但是中日两军却都是损失惨重。前沿阵地上早已是血流成河了，堆积起来的尸体足有一米多高。
王荣波手上的兵力已经不多了，已经没办法与日军反复争夺前沿阵地了。他主动放弃了前沿阵地，将全部兵力收缩进了铁路机修厂里，凭借那里坚固的厂房继续与鬼子周旋，同时他也派人回军部，将54师的战况报告给了军长方先觉。
鬼子占领了前沿阵地后，继续向铁路机修厂猛攻，同时又兵分一路，向衡阳火车站进攻，因为这两处阵地是衡阳城南的核心，是守卫衡阳城的两扇大门，不把这两扇大门敲开，是无法进入城中的，因此鬼子的攻势就变得更加凶猛了。
如今54师也只剩下2000余人了，王荣波留下了500人作为预备队，其他的1500人全部守在了战略据点上。军里的预备队早已用光了，根本就无法给54师派援兵了，他只能依靠现有的2000人来防守铁路机修厂了。日军在多次进攻失败后，就对铁路机修厂进行了空袭和炮击，还拼命的向铁路机修厂内施放毒气弹。铁路机修厂内毒雾弥漫，遮天蔽日，守军的工事早已是破烂不堪，多数官兵被毒气杀伤，倒在地上痛苦的挣扎着。黄昏之后，鬼子步兵蜂拥而至，一波接着一波。突然间就在那些破败的工事里，再次的爆发出了激烈的枪声，将进攻中的鬼子打得人仰马翻的。酣战至半夜，敌我双方在阵地上犬牙交错，难解难分。鬼子连夜加派兵力，继续猛攻。王荣波带领着54师残部，死守铁路机修厂厂部大楼，做好了战斗到最后的准备。