在指挥徐州以南守军阻截北进之敌的同时，李宗仁又积极阻击华北日军南下。蒋介石枪毙韩复榘之后，中国军队上自战区司令下至普通士兵无不受到震动，士气大振。为确保徐州地区的安全，李宗仁命接替韩复榘的孙桐萱率部向运河以东推进，袭击济宁、汶上的日军据点，以牵制敌人主力。
2月19日，日军攻陷安居镇，25日突破杏花村阵地，守军被迫撤至相里集、羊山集、巨野一线。但李宗仁在这一线布置大量兵力，不断侧击北段南下之敌，使敌军不能长驱南进，暂时稳定了战局。
日军津浦线主力南攻不成，遂改变策略，由少壮派军人板垣征四郎、矶谷廉介率两个师团企图会师台儿庄。板垣、矶谷两师团，是日军精锐之师，此次进攻，来势十分凶猛。日军以七八万兵力，在华北方面第2军司令官西尾寿造指挥下，分两路入侵台儿庄。日军一旦在台儿庄得手，便可策应津浦路南端日军攻势，一举拿下徐州。中国军队为堵截日军前进，在临沂、滕县同日军发生了激烈的战斗，揭开了台儿庄会战的序幕。