東晉自偏安以來，時時面臨著北方的威脅。祖逖、庾亮、殷浩、桓溫都曾先後北伐，但無一成功。為了國家的強大，劉裕決定興師北上。

　　義熙五年(409)，南燕主慕容德死，其侄慕容超襲位，縱兵肆虐淮北，擄去晉兩郡太守，驅掠百姓千餘家。劉裕因此上表北伐。三月，他統領晉軍向北挺進。

　　南燕大將公孫五樓見晉師威猛，向慕容超建議扼據大峴(今山東沂縣)，堅壁清野，但被拒絕。劉裕看準時機，冒險越過大峴山隘，一舉攻克臨胊(今山東掖縣)，奪得大量輜重。接著，晉軍將士在劉裕的親自鼓動下迅速進擊，直逼燕都廣固(今山東益都)。慕容超遁入城中堅守不出。雙方進入相持階段。晉軍一方面高壘重塹，將廣固團團圍住，以燕人之糧充實軍用;一方面招降納降，採取分化瓦解之策。南燕大將桓遵兄弟及徐州刺史段宏相繼歸附，尤其是尚書郎張綱被俘，對劉裕十分有利，最後正是利用他所設計的攻城器械拿下燕都，活捉了慕容超。劉裕以廣固久守不降為由，入城後，盡殺王公以下三千人以洩憤。

　　齊境克服，劉裕本想停鎮下邳，蕩凊河洛，但孫恩妹夫盧循復集孫恩殘部，敗晉軍於豫章(今江西南昌)。劉裕不得不班師回朝。回京後，先後督師鎮壓盧循、剿滅割據長江中上遊的劉毅、譙縱勢力，逼走司馬休之，使南方出現了百年來從未有過的一統局面。

　　義熙十二年(公元416)一月，後秦主姚興死，姚泓繼位，內部叛亂迭起，政權不穩。劉裕認為這是滅亡後秦的良機。時劉裕圖以晉室名聲安撫北方人民，故想奉司馬德文之名北伐，司馬德文因而上書出兵，以修謁晉室山陵，最終劉裕就與司馬德文一同率兵出發。八月，劉裕以劉穆之任尚書左僕射，內總朝政，外供軍糧，自己率大軍分四路北伐。九月，劉裕扺達彭城。龍驤將軍王鎮惡、冠軍將軍檀道濟領兵由淮、淝轉向許、洛，後秦諸屯守皆望風降附，晉軍進展神速。十月，王鎮惡軍佔領洛陽。

　　次年正月，劉裕留其子劉義隆鎮守彭城，自率大軍北上。此時北魏派十萬重兵駐守河北，並以遊騎騷擾晉軍。劉裕在行軍中，雖常設奇陣或用大弩強槊擊敗魏軍，但進軍速度緩慢。王鎮惡軍由洛陽進抵潼關後，為秦主力守險以阻，檀道濟軍的糧道也為秦將姚紹截斷。晉軍一時處於危境。王、檀向劉裕求援，而劉裕卻為北魏軍牽制，自顧不暇。幸得當地百姓的幫助，潼關晉軍才轉危為安。七月，劉裕擺脫魏軍，進至陝城;前鋒沈田子攻入武關，進屯青泥(今陝西藍田)。八月，劉裕至潼關，與諸部會合。

　　秦主姚泓為緩解兩面受敵的危局，謀劃先消滅沈田子軍，再抵禦劉裕，於是率步騎數萬急趨青泥。沈田子軍本為疑軍，不過千餘人，但各自為戰，驍勇異常，數次出擊竟使姚泓敗還長安。此時，王鎮惡突破潼關防線，率師直進，一舉攻陷長安城，姚泓率群臣投降。