新任日本陆军大臣板垣征四郎当即向倭皇裕仁报告，强烈主张发动徐州战役。他说道：“对于集中在徐州方面的中国军予以痛击，可以收到挫伤敌军抵抗意志的巨大效果。因而，陆军准备实施对徐州之敌的歼灭战，由于这些军队都是国民政府军的精锐主力，并且已经处于孤立的状态。我大日本皇军应不失时机，以强大的兵力，以宏大的战斗规模，使之一举彻底歼灭这些中国军。臣下认为，只要达到了歼灭这股敌军的战略企图，就能使武力解决中国问题变得简单，就能促使蒋介石政权屈服投降，迈出决定性的一步，亦可挽回我大日本皇军在台儿庄所造成的不良影响。”
板垣征四郎的话让倭皇裕仁感到喜出望外，他也认为这是打击蒋介石政权的大好时机。于是倭皇裕仁当即决定，围歼徐州的中国军队。并要求板垣征四郎必须作到，陆军此次进攻，一定要取得巨大的战果，务必不使徐州地区50个师的中国军队一人漏网，一定要把他们全部的、干净的、彻底的全歼。用铁一样的事实来向国人证明，大日本皇军是永远不可战胜的。
板垣征四郎回到陆军部以后，决定为求速战速决，不失这千栽难逢的好战机，于当天向日本华北方面军司令多田俊大将，华中方面军司令田俊六大将（原司令官松井石根因“南京大屠杀”造成的国际影响，以被勒令退出现役），下达了大本营陆军部第84号作战命令，命令如下：1、大本营坚决要求击破徐州之敌。2、华北方面军司令官应以有力之一部击破敌军防线，占据兰封以东陇海线以北之地区。3、华中方面军司令官应以一部占领南津浦路及庐州地区......板垣征四郎为确保徐州之战的胜利，于2日后，派出了以陆军部作战科长桥本群少将等参谋们组成的“大本营派遣班”，前往徐州前线，对参战部队就地进行“战术指导”。
侵华日军华北方面军和华中方面军，集结了精锐部队13个师团，大约有30万人马，配备了这种重武器，辅以战机数百架，采取南北对进，侧翼迂回的战术，分成6路大军向徐州包抄而来，企图以速战速决的手段围歼中国军队主力于徐州地区。
日军分南北两大作战兵团，向徐州地区掩杀而来。南路兵团为华中方面军所辖的第9、第13、第116、第106四个主力师团。北路军团由华北方面军所辖的第5、第10、第14、第16、第110、第103、第104、第105等八个主力师团。南路日军的指挥官为羽田源之助中将，北路日军的指挥官为西尾寿造中将。另有日军第4师团作为预备队来使用，这次日军对围歼徐州地区的中国军队报以了极大的信心。
此时，蒋介石正一头扎进扩大宣传的热浪中，沉浸在台儿庄大捷的兴奋里，对日军即将展开的进攻还尚未十分了解。于是他对徐州地区的各部队要求道：“各部队要充分发扬台儿庄血战的光荣精神，坚决的分头阻击来犯之敌，通过徐州会战再给日军部队以重创。”李宗仁可不敢有丝毫的掉以轻心，他针对日军的进攻态势，把60万大军分成了5个作战兵团。1、淮南兵团：指挥官为李品仙，下辖第20、第10、第48三个军。2、淮北兵团：指挥官为廖磊，下辖第31、第7、第77、第68四个军。3、鲁南兵团：指挥官为孙连仲，下辖第30、第42、第51、第41、第44、第60、第22、第75九个军。4、陇海兵团：指挥官为汤恩伯，下辖第57、第89、第69三个军。5、战区直属军团：指挥官为李宗仁，下辖第12、第55、第32三个军。未编组之部队皆为战区预备队，可随时奉调开赴前线。
北路日军首先发起了攻击，孙连仲的兵团在峰县、向城、郊县等地抵抗日军的进攻。紧接着，张自忠等部在临沂、大埠、北劳沟等地也与日军发生了激战。北路日军从濮阳分出一部，度过黄河天险后，进入鲁西地区，迅速的攻占了郓城、菏泽、金乡等地。该地区虽有孙桐萱、庞炳勋、商震等部，但在广阔的平原上，部队无险可守，日军得以快速的推进，如入无人之境一样快速向徐州杀来。而南路日军也开始北上了，他们先后占领了徐州南面的龙元、蒙城、宿县，并攻陷了徐州西面的黄口车站，包围并切断了徐州西南面的退路。至此，日军已经对徐州完成了包围的态势，更多的日军正从四面八放朝徐州压来。
武汉，军委会的作战室里，蒋介石瘦长的身躯晃了几晃。现在的他总算是明白了，自己当初的决定是多么的可笑。如今日军的意图是要围歼他的主力，围歼他的60万大军。这时，他那发热的大脑终于清醒了过来，他开始感到了浑身发冷。蒋介石急忙叫侍从把军委会的大员们叫来，赶紧商量眼下的对策。日军目前的企图已经暴露，很显然，再守徐州无异于飞蛾扑火。蒋介石觉得自己不能听任日军摆布，他对陈诚等人说道：“若徐州这60万大军被日本人吃掉，娘希匹，我还拿什么抗战？！”陈诚等人均赞同道：“委座所言极是。”于是蒋介石一边踱步，一边焦急的口授给李宗仁的电令：“第5战区司令长官李宗仁，军委会着令你部力避与敌决战，撤离徐州，火速突围......
1938年5月下旬，各路大军按军委会指定的路线，全部安全撤离徐州，到达皖西、豫南一带。奉蒋介石之命作为全军后卫，掩护主力转移的第68军，在完成掩护任务后，放弃徐州城，巧妙的跳出了日军的包围圈，到达了安全地带。5月底，各路日军到达徐州，发现徐州早已是一座空城了，先前云集在此的60万国民党军队，早已失去了踪影。
徐州大撤退是李宗仁创造的又一个奇迹，是国民党在抗战正面战场上的又一个杰作，它的成功绝不亚于台儿庄大捷，它使日军战略决战的企图又一次破灭了，为后来的武汉大会战保存了实力，对以后的抗日持久战和夺取最后胜利产生了深远的影响。
自徐州陷落以后，北起东北三声南到江苏徐州，大片国土先后被日军占领了。徐州的沦陷让国人们从台儿庄大捷的兴奋中清醒过来，让国人意识到中国的抗日战争是极其漫长的而艰难的，至少，目前情况下国军是很难将日蔻赶出中国的。就在国人对抗战前景感到悲观失望的时候，一直以来在国民党内部产生了“速胜论”和“亡国论”。但是，抗战10个月以来的实践证明“亡国论”和“速胜论”是完全错误的。抗日战争的发展前途究竟如何？一时间成了国人最关心的问题。针对这一现象，中共中央毛主席发表了著名的《论持久战》。他在书中初步的总结了全国的抗战经验，批驳了社会上盛行的种种错误观点，系统的阐明了中国的抗日持久方针。从而有力的批判了当时国内存在的速胜论和亡国论，为中国人民的抗日战争指明了正确的方向。
毛主席指出：“中日战争不是任何别的战争，乃是半殖民地半封建的中国和帝国主义的日本之间，爆发的事关国家、民族生死存亡的战争。”日本是一个强大的帝国国家，它的侵略战争是退步的、野蛮的，中国的国力虽然比较弱小，但它的反侵略战争是进步的、正义的。日本战争能力虽强，但它是个小国，军力、财力都感缺乏，经不起长期战争的拖累。而中国则是一个大国，地域广阔人口众多，能够支持长期的战争。日本的侵略行为损害并威胁其他国家的在华利益，因此得不到国际社会的认可。而中国反抗侵略的战争却能获得国际社会的同情与援助，有了这些同情与援助，中国反抗侵略的战争就能长期的坚持下去。最后他得出结论：“中国会亡吗？”答复：“不会亡，最后的胜利是永远属于中华民族的。”那么再问：“中国能够速胜吗？”答复：“不能速胜，抗日战争是持久战。”他还指出这场战争必将经历三个阶段：1、抗战初期的战略防御阶段。2、抗战中期的相持阶段。3、抗战后期的反攻阶段。其中第2阶段是整个战争的过度阶段，将是抗日战争中最艰难的时候，要准备付出较大的牺牲来度过这段艰难的过程。但只要度过了这一阶段，中国的抗日战争必将迎来胜利的曙光！
“论持久战”一经发表之后，立刻在全国引起了轰动。全国各大报纸纷纷转载这篇文章，让全国民众的抗日热情再次的高涨起来，一扫悲观和绝望的情绪。