就在马铮所部在察北翻江倒海的时候，八路军其他各部在冀南实施的反扫荡也取得了不小的进展。2月中旬当第10师团和第110师团对冀南形成合围势态后，阿部规秀的26师团一部从津浦路上的泊镇、末松茂治的第114师团在山东省德州聊城的一部，先后出动向西推进，以策应第10师团以及第110的进攻。
2月25日，两路之敌由其空军侦察及掩护之下，对南宫、冀县、枣强三县进行了合击，随后即占领了冀南中心区的各县城。
此时在冀南的八路军第129师，已将所属385旅、386旅、青年纵旅、东进纵旅、先遣纵队等，与地方武装分成若干个作战集团。在敌合击时，这些部队事先已越出包围圈，转至日军的侧后，袭击了冀县、枣强东北方向的武邑、阜城、景县和冀县以南的清河，并在德石路的衡水以西和平汉路上的高邑附近伏击敌人，以进行牵制和破坏其补给运输。一部还对冀县、南宫、巨鹿、广宗之敌进行袭击。
日军由于兵力有限，机动部队数量不多，所以要对某一范围较大的地区扫荡，必须从各布防地区抽调部队。而开始扫荡时，往往先从四外向抗日根据地进行合围，寻找抗日部队作战并占领各县城、集镇和要点，控制公路、水路与山地之要口。
在占领和控制各地后，即派出侦察人员搜集情报强迫民众修复被破坏的公路、构筑据点和围墙及望楼，开挖据点外围的水壕并敷设铁丝网和鹿砦。与此同时，推行伪化与进行分区扫荡，寻找隐蔽于其占领区内的抗日部队作战。有时还准备一支机动部队。随时听令出动，发现情况后，立即派出进行追踪攻击。
根据日军在扫荡时的这些作战特点。八路军129师的386旅决定在威县以南约20公里的香城固地区设伏，以歼灭追击之日军。386旅以及东进纵队第三团。新编第1团和115师的688团各一部，在威县之后，主力每夜均攻入威县城内然后撤出，以诱敌第10师团的部队追击至预定设伏地区。
日军果然上当，经对威县攻击后，敌第10师团第8旅团的步兵第40联队，在2月26日上午以一个步兵加强中队配属了炮兵，乘8辆汽车。向威县以南追击。约在12时到达南草场时，386旅的骑兵连首先对该敌进行阻击，然后且战且向香城固设伏地区后撤，敌则依然紧追而进入了袋形设伏地区，遭到三面的火力急袭以后，敌突至香城固村内，但此时已受到688团、补充团的包围。
战至下午五点，这批尚剩之敌，企图突围向西北逃回威县，又被设伏于张家庄、马落堡的688团和新编第1团所阻击。386旅则集中部队。对该敌发动攻击，激战至黄昏将被围之敌全部歼灭。计击毙、击伤敌大队长以下200多人，缴获山炮一门。“九二式”步兵炮两门，迫击炮一门，长短枪数十支。386旅所指挥之部队伤亡约为50人。
日军遭到多次打击后，又以冀中的南宫、巨鹿、威县、广宗等地为重点，进行分区扫荡。129师一部与地方武装及民众相配合，在内线进行游击战，主力则转移至外线。
但是日军为了完成对冀中、冀南地区的扫荡，一下子就出动了四个师团，兵力远在八路军之上。经半个多月约100多次作战。将冀中军区以及冀南军区的根据地进行了极大的破坏。但是却始终未能寻找到八路军主力，不得不在马铮所部攻占察北后停止进攻。
与此同时。日军第12军在山东、苏北以及豫东也发动了大规模的扫荡作战。相比于冀南以及冀中的艰难，山东的日军的战果就辉煌的多了。
在扫荡之初。在山东的尾高龟藏之第12军其所辖部队，计有驻徐州的鹫津铅平的第21师团，驻兖州的末松茂治第114师团，驻青岛的今村均之第5师团，以及担任治安任务的驻青岛之独立混成第5旅团。另外还有日本国内新编成师团中之第32师团、独立混成第6、第10旅团也调至山东，合计共有4个师团又3个独立混成旅团。
尾高龟藏所部得知在鲁南山区驻有5至7万抗日部队，即国民党山东省主席沈鸿烈所率原青岛之海军陆战队一部，山东省保安队及吴化文之新编第4旅、石友三69军、于学中第51军之周光烈第113师、牟中衍的第114师、东北军第57军以及在泗水地区建立了根据地的共产党所领导的八路军。随即制定了扫荡鲁南苏北的作战计划，并与2月中旬开始实施。
敌12军为了扫荡在鲁南的抗日部队，占据这些地区，决定以4个师团又1个独立混成旅团各一部对鲁南发动进攻，其部署为：第21师团以约5个步兵大队、两个炮兵大队作好向泗阳、沭阳、阿湖镇的进攻准备，并以约一个步兵大队进至房山镇、湖东口一线，准备夹击海州。主力则准备进攻淮阴。
其次，第5师团以约两个步兵大队，从灌河口溯航至响水口西南约25公里的新安镇附近集结。以1个步兵大队进至大伊山镇附近，随时准备夹击海州，主力则准备进攻淮阴。另以两个步兵中队、1个炮兵中队，进至海州以北约30公里的赣榆，作进攻海州之准备。
另外还以第114师团约以步兵1个大队、炮兵1叶中队，前进至临沂去海州道路上的山东省境内一带。并以主力一部占领临沂以南约50公里的郯城附近地区，以掩护第21师团左侧后的安全。
接到命令后，鹫津铅平的第21师团将其主力集结于骆马湖东南的宿迁附近，一部在运河以东的炮车附近集结，2月24日开始行动。27、28日到达沭阳、泗阳地区，沿铁路的1个步兵大队则东进至阿湖一带。
而在泗阳附近的国民党军，因对该敌未作有力抵抗，且有向淮阴以南后撤的征兆，所以敌第12军不待预定集中的部队，即决定进攻淮阴并企图在宝应以北狭窄地带歼灭退却的国民党军。令第21师团及第五师团21联队之第1大队两个中队，向淮阴方向追击。该敌因有第7飞行团的空中侦察与攻击、轰炸的配合，在短短两天的时间里连克淮阴、淮安、宝应诸县。
经过大半个月的战斗，在鲁南以及苏北的国民党以及八路军各部队均损失惨重，大片领土被日军攻占，不得不撤回鲁南的山区，以图后战。
对于第12军在山东的扫荡杉山元很满意，不但致电嘉奖第12军所部，甚至于还亲临济南为第12军鼓劲。这也让在察北吃了大亏的杉山元扳回一城，但总的来说杉山元还是觉得自己吃了大亏。
毕竟鲁南苏北虽然富庶，但是面积狭小，就算是胜了也只能算是小胜。更何况为了打败鲁南的国共部队，日军连续出动了整整四个师团。
而察北草原地域广大，盛产良马。一天一夜连丢十城，损失两三万部队，怎么说也是惨败，以小胜与惨败相比，杉山元心里还是老不是滋味。所以原本不准备对绥察军区动手的杉山元心思动摇了，在他看来既然要打那就要一劳永逸的解决那只可恶的支那军队的威胁，这样拖着只能养虎为患，于是杉山元命令华北方面军除晋北、察南等地的部队以外，其余各部立即收缩兵力，准备对八路军马铮所部用兵。(。)