其实，日本天皇原在2月16日的御前会议上说：“在８月以前绝不向新地区发动进攻。”台儿庄惨败后，日军大本营已经无法再考虑战略上深入与分散的问题了，日军必须立刻设法击败中国军队，以挽回“皇军无敌”的声誉。日本天皇立即决定：迅速向中国大规模增加兵力，发动更大的进攻，誓报台儿庄惨败之仇。
日军统帅部深知徐州不可轻取，非调集重兵，四面合围，否则断难打通津浦线。4月间，侵华日军华北方面军和华中派遣军自平、津、晋、绥、苏、皖一带，纠集了13个精锐师团，约30万军队（其中包括矶谷和板垣两师团从台儿庄撤退后，重新集结，补充休整兵力），并配有各种重武器，飞机数百架，兵分6路对徐州形成大包围，采取南北对进，侧翼迂回的战术，企图围歼云集在徐州一带的第5战区主力。
4月7日，台儿庄战斗刚结束，日军前线指挥官电告大本营：徐州地区有一股中国军的强大集团，据可靠情报，该集团约50个师，60余万人，几乎全部为蒋介石的精锐部队。
陆军统帅部顿时惊喜若狂，认为这是报台儿庄之仇的一次难得的战机。
杉山元陆相当即向天皇报告，强烈主张发动徐州会战。他说：“对于集中在徐州方面的中国军予以痛击，可以收到挫伤敌军抗战意志的巨大效果。因而，陆军准备实施对徐州的歼灭作战，由于该敌差不多是中国军队的精锐主力，并且已经处于孤立状态，我军应不失时机，以大的兵力，以大的规模会战，使之一举彻底歼灭该敌。本职认为，只要达到了歼灭这股敌军的战略企图，就能使武力解决中国事变，促使蒋政权屈服投降，迈出决定性的一步，亦可挽回我军在台儿庄的不良影响。”
天皇见报，顿时喜出望外，亦认为这是刹住蒋介石正在进行的台儿庄胜利大宣传的嚣张气焰的大好良机，当即定案：围歼徐州中国军队，并要求：陆军此次进攻，定要取得巨大战果，不使徐州地区50个师的中国军队一人漏网，务求全歼。
为求速战速决，不失这千载难逢的良机，大本营陆军部于当日向华北方面军总司令官寺内大将、华中派遣军总司令官?俊六大将下达第84号命令：
一、华北方面军司令官应以有力之一部击破徐州附近之敌，占据兰封以东陇海线以北之地区。
二、华中派遣军司令官应以一部占据徐州以南津浦线附近。
日大本营在动员华北方面军、华中派遣军的主力投入这场战斗的同时，还下令关东军派军支持。由于华北方面军司令官寺内寿一大将与华中派遣军?俊六大将的官衔相同，谁也不会接受对方的指挥，因此，只有紧急派遣大本营陆军参谋本部的作战部长桥本群少将，率领参谋本部的参谋军官，在济南成立大本营派遣班，组织包括华北与华中日军的参谋军官，进行徐州会战的作战协调工作。
日军以第16、第144师团增援北线的第5、第10师团，沿津浦路向南推进，以引诱中国军队主力；以第14师团从濮阳渡黄河入鲁西南和豫东，断陇海路，从而阻遏援徐州之中国军队，亦断徐州守军退路；以第13师团在南线的蚌埠、怀远间集结；以第6、第9师团向凤阳、合肥进逼；以第101师团向苏北攻击。
5月上旬，南路日军开始北上，相继攻占徐州南面的龙元、蒙城、宿县，并攻陷徐州西边的黄口车站，包围并切断了徐州西南面的退路。
5月中旬，北路又一股日军，从淮阳强渡黄河，进入鲁西地区，迅速攻占了郸城、菏泽、金乡、鱼台等重要据点。该地区虽有孙桐萱、庞炳勋、商震等部队，但在广阔的鲁西平原上，无险可守，日军得以快速推进。北路日军与南路日军相呼应，自西北向徐州压来。此时，日军对徐州的大包围业已完成，正从四方八面向徐州突进。
而此前一段时间的中国军队，在做什么呢？由于国军自开战以来一再的后退，国土不断沦陷，国民政府内部开始出现了一些不同的声音。少数人组织了一个非正式的所谓低调俱乐部，在各种非公开场合，宣扬所谓的抗战亡国论，说什么抗战必败，不抗日还能多活一段时间，越抗日，亡国越快，不如不抗日。最港当局当然对于这些声音的来源是心知肚明，只是手里实在没有什么可以拿得出来的战果。现在国军总算在台儿庄打了一个胜仗，最高当局自然是希望能够把这个胜利扩大化，在徐州再来一个大胜仗，消灭更多的日军精锐部队。这样，也就可以更加巩固自己的地位，争取更多的国际同情和援助。所以，最高当局采取了与日军针锋相对的方针，从3月下旬起，从各战区调集大批军队，使第5战区的兵力由29个师增加到64个师又3个旅，共达60万人。同时，他还将中央军胡宗南、黄杰、桂永清、俞济时、宋希濂等部布置于豫东，作为徐州的后援力量，试图在徐州与日军一决雌雄，以一次大的会战，彻底改变战场局势。
蒋介石的上述想法，早在台儿庄会战之前就已表露。他亲临徐州督战时就对白崇禧等人说：“徐州是这次会战的核心。徐州位于黄淮之间，地界鲁、豫、皖、苏四省之交，为南北之通津，中原之屏障。在中国历史上，徐州之得失，有关国家之兴替。”
何应钦附和说：“委员长的指示极为重要，十分英明。徐州，历来是兵家必争之地，南守可略豫、鲁，北守可瞰淮河，不可轻易放弃。”何应钦自从西安事变之后，一度为蒋委员长所不满，加上自己又向来在国内有着军中第一亲日派的名号，故而对蒋委员长采取了恭顺的态度，万事都以蒋委员长的意见为自己的意见，不敢有丝毫的不一致。
“我们一定要死守徐州!”林蔚也跟着随声附和。
刘斐认为徐州应该守，但最终必然守不住。考虑到自己仅是个作战组长，不便公开与蒋介石“较劲”，只好用眼睛盯着素有“小诸葛”之称的白崇禧，盼望他拿个好主意。白崇禧懂得刘斐眼光的意思，但也不好正面反对蒋介石的意见。他打了个迂回：“这次敌军的第10师团和第5师团进袭鲁南，气焰十分凶狂呀!”
不等白崇禧说完，蒋介石就说：“凶狂怕什么?我们可以增调兵力。徐州必须死守，因为在徐州决战，可以争取时间，保卫武汉。徐州守得越久，我们争取的时间就越多，就可以把保卫武汉的准备工作做得好一点。”
“委员长的远见，令人佩服之至!”何应钦又发出了赞美之声。
白崇禧见蒋介石决心已下，不好再说什么了。
台儿庄胜利后，蒋介石等人盲目乐观情绪更为膨胀。
但身为第5战区最高长官的李宗仁，对形势的判断并不乐观，他深知，徐州四周为平原地带，无险可守，日军是机械化部队，又多有空军助战，在此处打起来，中国军队要吃大亏。他认为：“我方在徐州一带平原，聚集大军数十万人，正是敌方机械化部队和空军的最好对象”。李宗仁从持久消耗战的战略思想出发，认为在徐州同敌军作阵地相持的消耗战是愚蠢的。指出：“以中国军队的装备，只可相机利用地形条件，与敌人作运动战”。他为避免重蹈京沪战场的覆辙，提出撤离徐州的意见，而军事委员会中的少数人却陶醉于台儿庄的胜利中。李的意见被否定之后，即部署徐州会战。
4月18日，中国最高军事当局令第五战区集中兵力于徐州附近，准备再次聚歼日军。日军改以部分兵力在正面牵制对方，主力向西迂回，企图从侧后包围徐州，歼灭第五战区主力。日军第10、第5师分别从山东峄城(今属枣庄)和临沂西北的义堂地区南进，对守军第2集团军和第20、第3军团及第27军团第59军实施牵制性进攻。守军顽强抗击，至月底，将日军阻止在韩庄、邳县(今邳州)和郯城一线。
4月29日，这一天是日本的‘；天长节‘；。日本国的象征—天皇的生日，因而也成了日本的大庆纪念日。侵华日军头目企图在一天之内一举消灭驻武汉的中国空军主力，为天皇祝寿，邀功领赏，于是，急忙调来海军‘；佐世保‘；第2航空队这支日本海军航空兵序列里的精锐，来完成这一‘；神圣‘；使命。
然而，日军的这一意图已预先被中国空军获悉，4月20日，１架日本双座侦察机在湖北孝感上空进行侦察时被击落，在死去的日军飞行员身上搜到1个笔记本，上面披露了这一重要情报。中国空军立即做好迎战准备。但日军并不知晓这个情况。
早有准备的中国空军第3、第4、第5大队的19架И－15驱逐机和苏联志愿航空队的45架战斗机此刻已占据有利高度，等待日机进入布好的口袋。中苏空军的作战方针是：以И－15驱逐机群在武汉东北巡逻，相机与日战斗机缠斗，迫使其战斗机与轰炸机分离；И－15机群负责保卫武汉市区，重点打击日轰炸机。
日机群刚一进入武汉上空，中国空军第4大队的9架И－15首先迎了上去。此时，敌我飞机数量之比为4∶1。第4大队的空中勇士们不畏强敌，奋勇突入敌编队之中，与敌展开空中‘；肉搏‘；战。
少尉飞行员陈怀民击落和重创3架日机之后，引起了敌人的注意。5架日机发疯似地扑了上来，猛烈地向陈怀民射击。陈怀民的战机多处中弹，已难以操纵。在这千钧一发之际，他本可再次跳伞求生，但他看到敌机逞凶一时，不禁怒火中烧，毅然放弃了求生的机会，开足马力，向附近的一架敌机机背高速撞去。只听“轰‘；的一声巨响，两条火龙翻滚着落向地面。陈怀民的英雄壮举，使日军飞行员为之丧胆，使地面上观战的中国军民为之动容，使仍在空中激战的战友为之骄傲！
在陈怀民英雄壮举的鼓舞下，中苏空军勇士们越战越勇，经30分钟激战，一举击落日机21架，其中战斗机11架，轰炸机10架，取得抗战以来最辉煌的胜利。
5月5日，蒋介石致电斯大林，洽商军火货物交换方法。同日，日军开始从南北两个方面向徐州西侧迂回包围。在南面，第9、第13师团从蚌埠地区分别沿北淝河、涡河西岸北进，至13日，陷蒙城、永城(属河南)后，向江苏萧县、砀山(今均属安徽)进攻；第3师团由蚌埠进入大营集地区，向宿县(今宿州)进攻。在北面，第16师团由山东济宁渡运河，至14日，连陷郓城、单县、金乡、鱼台后，向江苏丰县、砀山推进；第14师团从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封(今兰考)；同时，第10师团将韩庄、台儿庄地区的作战交由第114师接替后，在夏镇附近渡过微山湖，向沛县(属江苏)进攻。日军已形成对徐州的四面合围态势。
这一段时间的新编十四师，正在师长刘建业的安排下，进行武装越野和长途拉练的训练。
授过勋，得过奖，也在记者面前出过了风头，刘建业回到了师里，把副师长张建找了过来。
“老哥，我有一件事情要你帮忙去办一下，这件事情关系到全师弟兄的稳定和生计，你一定要办好。”
“师长，你就说吧，我尽力而为。”
“军委会奖励给我们师大洋20万。我想呢，10万大洋分给下面的弟兄们，作为大家卖命打仗的一点赏钱。还有十万大洋，你把这笔钱换成银行汇票带上，到贵州，四川或者云南去，以部队的名义买上连片的土地和山林，给我们部队的作战负伤不能回到部队的弟兄们一个立身安命的落脚地方，让他们能够自食其力，不至于流落街头，生活没有着落。土地可以多买一些，最好有山有水，让老兵们过得舒服一点。你看怎么样？”
“这件事情对我们师的弟兄们，的确很重要，我一定办好。”
“你过回去找我的警卫黄峰，让他告诉你我家在西南一代的产业分布和联系方式，这样，你可以找他们帮忙，事情也好办一些。要是万一钱不够的话，就先找他们拿一些，报我的名字就行了。”
“好的，师长，我明天就出发。”
“这件事情，就托付给你了，你可一定要办好，这可是弟兄们的保命钱。”
“师长，你就放心吧，我拚了命也要把这件事情办好。”
刘建业这样做，也是为了避免手下的弟兄们万一受伤，不能再上战场，无法继续跟随队伍的时候，可以有一个地方自食其力，养活自己。要是全靠着军政部发的那点可怜的伤残费或者退伍费，不敢讲多，至少一半以上的伤残弟兄，迟早会变成街上的乞丐。刘建业是不忍心看到这样的场面的。弟兄们都是为了国家去拚命的，受了伤，不能再跟随队伍，照理来说，国家应该保证他们的基本生活。可是，抗战时期，这样的事情屡见不鲜。既然，国家管不过来，刘建业只有自己想办法了。
作为战区的直属部队，台儿庄战役一结束，新编十四师就被战区调到了徐州郊区，补充了一些新兵，准备迎接下一次的大战。
作为出了风头的副作用，新编十四师的营区大门，最近总是被人堵着。倒不是新编十四师的弟兄们，军纪败坏，这一点在土木系的部队里，也是基本上没有的，而是部队出了名，不少人都想要到抗战的英雄部队里来，为国效力。这里面尤以学生居多，不少上海的，苏州的，济南的，南京的大学生，还有一些徐州本地的，原本是想到延安投奔八路军去的。路过的时候，听说在徐州也有抗战的部队，就跑到了这里来，反正只要是抗日的队伍，不管是国民党还是共**。尽管，包括刘建业在内，向这些学生们多次说了，国家需要这些大学生们，去建设自己的国土，增强持久抗战的能力，战场以外的地方更需要他们。可是，这些热血澎湃的学生，大多数还是坚决要求参军，声言不答应他们的要求，他们就和军队持续耗下去。老是让人堵着门，这总不是个事。再说，怎么着，刘建业也不可能下令强行驱散这些爱国的学生们。就连刘建业自己当年也是一个左翼的愤青，很理解这些学生们的想法。没有办法了，刘建业只好表态，只要是想到这里来的，都留下了。男学生们单独编组成一个教导大队，跟抽调出来的一些作战经验丰富的老兵和下级军官们一起编组。这样，可以尽快让他们熟悉军队的各项技能和条令，而且，以后可以比较快的补充上一些技术兵种的损失。至于女学生嘛，都编入卫生队和通讯连，集中管理，免得一些人犯下生活作风错误，闹出花边新闻，破坏部队的形象。
当然，刘建业也有心情好一点的时候。经过了台儿庄的血战，新编十四师这支部队，几乎完整的经过了一次轮战，各战斗部队都上过了前线，使得原有的新兵们，迅速成熟了起来，至少看上去有了一些真正军人的杀气，不象原先只能算是有一些模样。下面的事情就是经历更多的战斗，使部队有了军魂，一种即使战斗到最后一个人都不会消失的魂。这种魂，更准确地说，是一种精神，支撑整个部队的精神，形成起来要花很长时间，要经历多次的血战恶战。一旦这种精神形成，整个部队就会有脱胎换骨的变化。这个方面，刘建业可是很欣赏小说《亮剑》里面的团长李云龙的。他的部队就有一种亮剑精神，使部队无论遭遇什么困难，总能坚持住，部队不会垮。刘建业打算着经过不断的战斗，也给自己的部队找到属于自己的魂。