同时，豫州刺史刘铄所率中路军，也向魏境展开进攻。刘铄命中兵参军胡盛之、到坦之分两路会攻长社（今河南长葛东）。
魏长社戍主、荆州刺史鲁爽败走，宋军攻克长社。接着，宋幢主王阳儿、张略等进据小索（古城名，在今河南荥阳）。
北魏豫州刺史拓跋仆兰闻知，率步骑2000从大索（古城名，在今河南荥阳，距小索城四里许）阻击宋军，被王阳儿击败。
到坦之等进占大索，仆兰逃奔虎牢。于是，刘铄又派安蛮司马刘康祖率军为到坦之部后继，合军进攻虎牢。
当宋东、中两路军发起进攻时，西路军积极配合。
八月，雍州刺史刘诞派中兵参军柳元景率振威将军尹显祖、奋武将军鲁方平、建武将军薛安都、略阳太守庞法起、广威将军田义仁等众军，自襄阳分头北进。
闰十月，西路军大败魏军，攻占弘农（今河南灵宝北）。随后，薛安都、鲁云平、尹显祖等人进攻魏陕城（今河南三门峡西）。
北魏洛州刺史张是连提率步骑2万赴援，与宋军展开激战。薛安都等大败魏军，斩首3000佘级，俘虏2000余人。
攻克陕城，阵杀魏军统帅张是连提。西路军另一部庞法起军在薛安都等人进攻陕城之时，率军一举攻占潼关。
这时“关中诸义徒并处处锋起，四山羌、胡咸皆请奋”。西路军的胜利，使北魏关中摇动，这对宋军的北伐非常有利。
当刘宋各路北伐大军进展顺利之时，东路军王玄谟部以精锐之师，围攻滑台数十日之久，却未能攻克。
玄谟军围攻滑台之初，众将士以城内多茅草房，建议用火箭射城内，引燃茅房，使城内军民惊慌，宋军乘势攻城。玄谟不许。
十月，北魏救兵将至滑台，钟离太守垣护之建议强攻，以便迅速破城。他写信给玄谟说：“昔武皇（指刘裕）攻广固，死没者亦众。
况事殊曩时，岂得计士众伤疲，愿以屠城为急“。玄谟又不采纳。众将士再建议发车为营，以抵抗魏骑兵救援，玄谟仍拒不采纳。
王玄谟一再拒绝正确的意见，多次失去战机，屯兵滑台近3个月而无所获。
闰十月初七日，魏太武帝大军进至枋头（今河南浚县西，位置在滑台以西古黄河北岸），立即派殿中尚书长孙真率骑兵5000自石济津渡过黄河，切断宋军退路，以防止王玄谟军逃跑。
又派关内侯陆真乘夜率数人潜入滑台城，抚慰守城将士，并登城察看宋军动静，然后连夜回营还报太武帝。
次日，太武帝亲临前线，率大军渡河，直逼宋军。魏军众号百万，鞞鼓之声，震动天地，军势甚盛。王玄谟见北魏大军逼近，惊慌失措，弃军逃跑。
宋军失去主将，阵势大乱。魏军乘势进攻，斩首万余级，缴获军资器械无数。太武帝进驻东平（今山东东平东）。
魏军遂以缴获宋军的战船，用铁索相连，在黄河上组成3道封锁线，企图截断滑台以西垣护之率领的宋军。
王玄谟败逃，顾不上告知垣护之，因而垣护之得知宋军败退时，退路已被魏军截断。垣护之急命部下乘河水迅猛，顺流而下，如遇拦截铁索便以长斧砍断。
在垣护之率领下，宋军将士奋勇作战，全军冲破封锁线退还，仅损失一艘战船。
王玄谟狼狈逃回碻磝，手下将士死亡殆尽。东路军主帅萧斌大怒，欲将王玄谟斩首，经太子步兵校尉沈庆之力劝乃止。萧斌见前锋已败，准备亲率主力固守矿礅。
沈庆之劝他说：“夫深入寇境，规求所欲，退败如此，何可久住。今青、冀虚弱，而坐守孤城，若虏众东过，青东非国家有也”。正在这时，宋文帝诏书至，不许萧斌后退。
沈庆之仍坚持退军说；“阃外之事，将所得专，诏从远来，事势已异”。于是萧斌重新部署诸军，以王玄谟守镐礅，申坦、垣护之守清口（今山东东平西，为清水入黄河之口），自率诸军还驻历城（今山东济南西）。
这时东路军的失败，已成定局。此后，总统北伐军事的太尉刘义恭以镐礅孤城，必不可守，召令王玄谟退军，碡礅落入魏军手中。
宋文帝认为东路军败退，魏兵深入南境，西路柳元景等军不宜独进，遂令其撤退。于是弘农、陕城、潼关又为魏占有，西路军所取得的辉煌成果，遂付之东流。
刘宋东路军的败退，实际上影响了整个北伐战局，此后北魏发起全面进攻，刘宋则由全面进攻转为全面防守。
魏军反攻初胜后，太武帝遂命诸将分兵5路大举南下：
征西大将军、永昌王拓跋仁自洛阳向寿阳（今安徽寿县）；
尚书长孙真向马头（今安徽怀远南）；
楚王拓跋建向钟离（今安徽凤阳东北）；
高凉王拓跋那自青州（魏青州治今山东广饶）向下邳（今江苏邳县西南）；
太武帝亲率主力自驻地东平（今山东东平东）向邹山（今山东邹城东南）
十一月初，太武帝大军进攻邹山，宋戍主、鲁阳阳平2郡太守崔邪利投降。太武帝进驻邹山。
与此同时，楚王拓跋建军进驻彭城门户萧城（今安徽萧县西北），另军步尼公进屯彭城另一门户留城（今江苏沛县东南）。
镇守彭城的宋武陵王、徐兖2州刺史刘骏与驻在彭城节度北伐诸军的江夏王、太尉刘义恭派参军马文恭、军主嵇玄敬率军分别进至萧城、留城，观察魏军的动向。
马文恭、嵇玄敬2军先后与魏军遭遇，马文恭军大败，文恭只身逃回。嵇玄敬军由于当地百姓的协助，取得胜利，魏军遭到失败。
当时，萧城魏军距彭城仅10里之隔，彭城守军虽多，但军粮匮乏，形势十分危急。刘义恭欲弃城南逃，安北长史、沛郡太守张畅力谏不可。
他说：“今城内乏食，百姓咸有走情，但以关扃严固，欲去莫从耳。若一旦动脚，则各自散走，欲至所在，何由可得。今军食虽寡，朝夕犹未窘罄，量其欲尽，临时更为便宜，岂有舍万安之术，而就危亡之道”。
刘骏认为张畅所言有理，也劝义恭留镇彭城。刘义恭才决意坚守彭城。太武帝率大军进至彭城，宋军据城固守，魏军不能克。