蜀地未平，后秦收纳桓氏余孽并出兵相助，这大大增加了刘裕北伐的决心。其实刘裕早就有北伐之志。当年匈奴胡骑攻克洛阳长安，灭了西晋社稷，众文武官员仓促带司马德宗南渡长江建立东晋。匈奴政衰后为氐族人苻氏建立的秦朝与鲜卑人慕容氏所建立的燕国所灭。秦朝到苻坚继位时，由于苻坚有文武大略，又加以汉人王猛为相，朝政大治，兵强民丰，先后灭掉蜀、凉、代等几处政权后又灭掉燕国，一统北方，中华疆域三有其二。然其混一九州之心太急，不思休民养兵，违背群臣意见，大发国兵南征东晋，终于淝水一战大败，政权也四分五裂，主权为羌族姚氏所建之后秦取代，先前所灭之代与燕之后人也趁机建国。代为鲜卑人拓跋氏所建，后日益强大，灭了慕容氏的后燕，建立魏国。慕容氏后人又建立北燕与南燕两个政权。北燕处于辽东北，南燕则处于山东地区。北方最强政权为后秦，而魏国正渐渐望其项背。
刘裕心中一直都想收回关陕地区和河洛地区，重振晋朝国威。而后秦正掌控着这些重要地区。桓玄之乱结束后，后秦又收纳桓氏余孽桓谦等人，摆明了是要与晋为敌。若攻克后秦，恢复失地后，更可以之为资，向北而图天下。刘裕于是与刘穆之、谢晦、刘敬宣、臧熹等一众文武将士聚会商议。
刘穆之说道“目前蜀乱尚未平息，不宜再做大举。”谢晦言道“后秦依然是北方最强政权，北魏也日益强大，若秦魏联合，实难有功。”多数人持反对意见，刘裕急于建立功业，心下不乐。不久后，谢晦言道“不过，我倒是有个建议。”谢晦是桓玄之乱后投奔刘裕的，刘裕对其才华很是赏识，“爱卿但言无妨！”
谢晦缓缓说道“伐秦需要从长计议。不过目下我们可以先伐燕。桓玄乱时，燕主慕容备德想趁机攻我淮南，赖其突然犯病才没出动。慕容超继位后又信用奸佞、诛戮贤良、赋敛繁多、事役殷重，百姓苦不堪言。近来又昏庸狂悖、犯我边疆。数月前，慕容超令慕容兴宗、公孙归等帅骑兵数千攻克我宿豫城，大掠而去，掳走男女二千余人。不久前慕容超又遣公孙归之弟公孙五楼、段晖再次入寇，俘虏百姓千馀人而去。我朝为此赶忙加兵镇守彭城以南诸城。为巩固我朝边疆，我们顺民心伐无道之燕，燕地狭促，克之不难。”
刘裕大喜，与会诸人可否者参半。刘穆之仍以蜀地为难，刘裕言道“前番取蜀，兵力既少加以粮运不济，是以受挫。谯纵新得志，不可急取。我已有破之之策，数年后待其志骄气满之时，便可一举攻克。谯纵匹夫，只有自守之志，我量其必不敢出蜀来犯！”
臧熹与刘敬宣均赞同伐燕。之前刘敬宣投奔南燕时，暗中与亲信高雅之结识青州大姓及鲜卑豪帅，密谋杀南燕主慕容备德，推司马休之为主。雅之欲邀慕容备德的亲信刘轨同谋，敬宣说：“刘公年衰，有安齐终老之志，不可告之。“雅之不听，告诉刘轨，刘轨假意应允，派手下人擒住雅之，告诉了慕容备德。敬宣得知密谋泄漏后，与司马休之等仓促南逃，路上听闻刘裕起义兵，便来投奔。敬宣对南燕地形与朝中形势颇为熟悉，此时他说道“慕容超昏庸，不用忠臣，听信奸佞，确实可伐。只是燕南有处大岘山，是天险屏障。两山夹峙入云，中只有一道崎岖陡峭，并且很窄，仅容一车通过。若过此险，如履平地。”刘裕看过地图，说道“攻下南燕，可获得黄河东段，日后伐秦水师可入黄河，水陆俱攻，一举平定中原，复我失地。”刘裕便下定决心准备伐燕。
朝堂之上，刘裕向皇帝上表请伐南燕，朝臣异议者为数不少。皇帝考虑刘裕功高又有武略，不便拂背他的意思，答应了他的请求。刘裕开始做伐燕的准备。他考虑到吴地将士擅长步战，短兵相接，而燕军则利于铁骑冲锋。若大规模的骑兵冲击而来，晋之步军难以抵抗。于是他开始思索破骑之法。当他想到三国诸葛亮与晋朝的马隆都曾用战车成功克制过骑兵后，便派兵士打造战车。
409年四月，刘裕与众将士做了充足的部署，开始北伐。七万步兵、六千骑兵、四千辆战车齐发建康。大军由淮水入泗水，在下邳登陆后，留下一切船舰和辎重，轻行前进，准备因粮于敌。大军顺利攻下琅琊、莒城等城池，每下一城都留兵守卫，保护住自己的后方防线。大军继续向大岘山前进。
在刘裕大军刚入燕境时，慕容超急召群臣商议。公孙五楼道“吴兵轻狂狡悍，利在速战。我们只需固守大岘使其不得入，迁延日久，吴兵锐气已失，然后再派精骑二千，沿海而南，处处阻断其粮道。另派段晖率兖州之众数万，沿山东下，腹背夹击。如此一来定能让晋兵有来无回，此乃上策。使各处守卫依险自保，割麦收粮、留下仅够用的粮食，其余全部烧毁，使敌无法因粮于我，敌来求战我们不应，数旬后敌当自退，此乃中策。若放敌入岘，出城迎战，无异于坐以待毙，此乃下策，万不可行。”
慕容超满脸不屑，言道“我们拥有富庶民众、铁骑数万。况且当前正值麦季，绿苗遍野。怎能轻易放弃大好的庄稼，收民自保呢？南蛮步兵难敌我方精骑，我们不妨使其入岘，我等纵铁骑蹂躏之，岂不痛快。”五楼言道“必如此，怕慕容氏的宗庙将不再血食!”慕容超怒道“放肆！”太尉慕容镇也言道“弃险不守，侥幸于一战，万一失败，悔无及矣。”慕容超仍然不从。慕容镇叹道“你坐待攻围，真似后汉之刘璋。可叹我大燕千里好山河将被你葬送，我会死于国难！”慕容超大怒，派人将慕容镇押入牢中。