４月５日，日军坂本支队与后方的联系已完全被第２０军切断，弹药、粮秣均无法从临沂方面的第５师团获得，不得不从第１０师团濑谷支队方面补给，已陷于困境。当晚１９时３７分，该支队下令准备退回临沂地区，并于２０时３０分致电濑谷启：
“支队为攻占沂州，奉命返回，预定明（６日）日没后开始行动，７日拂晓前在三佛楼附近集结兵力。”此时，濑谷支队对台儿庄的攻击亦毫无进展，留置黄要庄的第１０联队的１个中队在第２７师的猛攻下已放弃纪庄等外围村庄，退缩至黄林庄。
因第２０军团迄今尚未对进攻台儿庄日军的侧背进行有力的攻击，致台儿庄的形势日趋危急，因此蒋介石于１２时致电汤恩伯：
“台儿庄附近会战，我以１０师之众对师半之敌，历时旬余，未获战果，刻军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解?应急严督所部于六、七两日奋勉图功，歼灭此敌，毋负厚望。”汤恩伯接到电令后积极部署进攻：令第７５军“以一部巩固岔河镇东南、西南一带高地之据点，主力继续向萧汪、东庄、台儿庄攻击前进”；令第８５军（附第６６５团，欠第５师）“向低石桥、燕子井、岔河山、刘家湖继续攻击前进”；令第５２军（附骑兵第５团）“以有力之一部巩固洪山镇、兰陵镇、向城一带之据点，主力即刻开始经甘露寺、腰里徐，向泥沟、北洛之线攻击前进”。同时急令第３１师师长池峰城：“明日（６日）决将台儿庄之敌击溃，与贵部会合。如不成功，甘当军令。”
当晚，第５２军到达底阁、杨楼、陶沟之线，第５８军的第８９师在朱庄、黄洲之线向大顾珊之敌进攻中，第７５军的第１３９师在岔河镇、西黄石山之线向萧汪之敌进攻中，第７５军的第６师在戴庄、李家圩之线向辛庄之敌进攻中。
同日，第２集团军总司令接到第一战区司令长官程潜的电报：
“本长官奉令特来徐州督战。台儿庄之敌限自鲁起至齐日止（６日至８日），３日内务捕捉歼灭。树立首功者奖洋１０万元，否则师长以上定予重惩。”
孙连仲接电报后立即“严令各部务于限期内将当面之敌肃清，免受军令制裁”。第１１０师于当晚从得胜口潜渡运河北进，准备于次日进攻獐山附近之敌。
４月６日晨，日军濑谷支队长发现第１１０师的部队已进至泥沟、獐山以西附近，第２０军团第５２军的部队已逼近至支队部所在地杨庙东北约７公里的张楼地，而坂本支队主力已被第５８军及第７５军从北、东、南三面包围于邢家楼、大顾珊地区，且又准备于今晚撤走。这样，“濑谷支队长认为独立维持台儿庄战局困难”。
决定退却，于１５时３０分电告矶谷廉介：“暂撤离台儿庄地区，部队向后方集结”；同时部署撤退，下令：“支队于本日日没后以全力向北转进”，令步兵第１０联队第１大队及步兵第３９联队第１大队提前于日没时即占领白山西村及獐山，令步兵第６３联队主力（不包括台儿庄部队）于日没时向朱庄进攻，以掩护支队主力撤退，第１０联队、台儿庄内第６３联队第２大队及顿河闸、插花沟、黄林庄的各中队均于２０时撤出第一线，向泥沟地区集结。在兖州的矶谷廉介接到濑谷启的电报后，立即命令参谋长电告濑谷启，令其终止后退。但濑谷启身陷险境，深知如果今夜不能迅速脱离台儿庄地区，等明日中国军队合围后就有被全歼的危险，因而抗命不从，继续指挥支队退却。由于仓促退逃，又是在中国军队的进攻下进行的，所以许多军需物资，如粮秣、弹药、被服以及日军尸体等均来不及带走，全部放火焚烧；有些重型机械化武器也因弹尽油竭、无法开动，不得不自行破坏，遗弃于战场。仅就台儿庄附近战场而言，该支队仅有的２门１５５毫米重炮及５辆履带牵引车以及８辆坦克均遗弃于战场（后被第２００师运至湖南湘潭修理），可见其溃逃时的狼狈之状。
台儿庄内的日军与第３１师的部队隔墙相接、邻屋而战。日军想安全撤走，但守军以密集火力及手榴弹封锁，相当一部分日军在撤退的最后一刻被歼灭。至７日凌晨５时左右，台儿庄内的日军全被肃清。
４月７日，日军濑谷支队主力退至官庄地区，后方掩护部队在獐山一带。坂本支队得悉濑谷支队北逃后，当夜亦在火力追击下加速撤逃。本欲向东北、经向城返回临沂，由于第２０军团主力均在东北方向，根本无力突出重围，于是改向西北方向败退，向第１０师团部队靠拢。
第五战区司令长官李宗仁得知日军北逃的情况后，于１３时下达了追击命令。各部接令后，开始按命令追击。
４月８日，濑谷支队主力集结于峄县地区，一部兵力占领獐山、白山西；坂本支队退至枣庄以南郭里集一带。第２军司令官西尾寿造令第５师团以步兵第２１旅团为基干的坂本支队归第１０师团长指挥。矶谷廉介命令两支队“在现驻地附近大力整顿兵力，搜集敌情，作女子下一步进攻准备”。
在整个台儿庄战斗期间，第３集团军遵照第五战区的命令，以有力部队渗入到兖州以北地区进行游击作战，以配合台儿庄的作战：３月２３日，第１２军的第８１师夜袭兖州，歼敌一部，并将兖州以北铁路破坏；３月２６日，第５５军的第２９师炸毁大汶口铁路多处，使日军列车脱轨；３月２９日，第８１师又夜袭大汶口飞机场，炸毁敌机８架等。
４月９日至１１日，追击的中国军队先后均已迫近峄县：左翼兵团进至峄县以南的白山西、泥沟一带，右翼兵团进至峄县以东的土山、马山一带，堵击兵团进至枣庄以北地区。此时日军濑谷、坂本两支队已集中兵力占领了白山西、獐山、九山、郭里集等各要点。
在台儿庄大战的末期，１９３８年４月６日，李宗仁赶到台儿庄附近，亲自指挥部队进行全线反击，４月６日凌晨１时，我军吹响了反攻的号角，以孙连仲第2集团军为主组成的左翼兵团和以汤恩伯第２０军团为主组成的右翼兵团在台儿庄及其附近地区大举反攻。
一直防守遭攻的高飞部，听说反击，神情振奋，命令一下，杀声震天。双方便展开了巷战、肉搏战，一时间，台儿庄城内枪林弹雨，血流成河。
日军头一次遭到了国民党军队的如此顽强进攻，很快便溃不成军。台儿庄北面，枪炮声渐密，汤恩伯军团已向敌人开火。矶谷知已陷入反包围圈，开始动摇，下令部队全线撤退。此时敌军已成强弩之末，弹药汽油也用完，机动车多被击毁，全军丧魂落魄，狼狈逃窜。李宗仁命令部队猛追，敌兵遗尸遍野，各种辎重到处皆是，矶谷本人率残部拼命突围。
激战４天，中国军队重创日军濑谷支队、坂本支队，其余日军残部于７日向峄城、枣庄撤退。至此台儿庄战役胜利了。
台儿庄会战，在李宗仁的亲自指挥下，击溃日军第５、第１０两个精锐师团的主力，歼灭日军２万余人，缴获大批武器、弹药，严重地挫伤了日军的气焰，是国民党战场在抗战初期取得的一次大胜利。振奋了全民族的抗战精神，坚定了国人抗战胜利的信念！
(）