公元402年，荊州刺史的東晉將領桓玄發動政變，企圖奪取劉牢之的北府兵兵權。在劉牢之自殺後，野心勃勃的桓玄逼晉安帝退位，自己當了皇帝。劉裕想推翻桓玄，但實力不足。於是，他假意投到桓玄麾下，暗中卻在京口聯絡了許多北府兵中下級軍官。兩年後，劉裕率兵向都城建康進攻，桓玄急忙派兵阻擊，結果卻被劉裕打得大敗，便挾持晉安帝逃到益州。劉裕進入建康後，指揮各路人馬追擊桓玄，下令誅殺桓玄一族。桓玄逃到益州後，被當地人殺死。劉裕迎晉安帝回建康復位。

晉安帝對劉裕等諸將大加封賞，劉裕被提升為侍中、車騎將軍，從此控制了東晉的軍政大權。7年後，南燕侵擾淮北，劉裕上表晉安帝請求出師北伐。劉裕深知，北伐是當時東晉人的願望，打勝了，就會提高自己的威望。

南燕是鮮卑人建立的政權。公元409年4月，劉裕率領水陸大軍討伐南燕，沿淮水、泗水進軍下邳（今江蘇邳縣西南），再由陸路進軍包圍廣固（今山東益都西北），前後僅用了10個月的時間，便滅掉了南燕。南燕滅亡後沒多久，後秦的皇帝姚興病死，幾個太子互相殘殺，於是劉裕又親自帶兵去攻打後秦。

公元416年8月，劉裕讓尚書左僕射劉穆之管理朝政，籌備糧草，以供應作戰部隊，自己率水陸大軍8萬，分五路北伐後秦。

晉軍都督王仲德帶領人馬做先鋒，沿黃河向西行，很快就到了滑台。另一路由龍驤將軍王鎮惡帶領，沿淮水、泗水北上，再沿黃河向西前進，一直打到洛陽。洛陽的守將姚洗見東晉勢力強大，被迫打開城門投降。王鎮惡進入洛陽後，俘虜了後秦的士兵4000多人，又把他們放了，讓他們回家，秦國人都很高興。

收復洛陽後，劉裕派將軍毛修之留在洛陽守城，王鎮惡繼續西進。這時，東晉朝廷下了詔書，任劉裕為相國，封為宋公，並且授給他九錫之禮。九錫是九種禮器，是天子賜給諸侯、大臣有殊勳者的九種器用之物，是最高禮遇的表示。在朝廷中只有一個人可以授，一旦授了九錫，他的地位就只在皇帝之下了。這說明當時的劉裕地位已經很高了。

秦王姚泓聽說洛陽失守，急忙派太守姚紹同武衛將軍姚鸞帶了5萬兵馬去援助潼關，王鎮惡與姚紹的軍隊作戰，秦軍大敗，5萬人馬損失了一半。姚紹逃到了定城（今陝西華陰縣東）。姚泓得知戰敗的消息，非常著急，就向魏國皇帝拓跋嗣求援，希望魏國能幫助他打敗晉軍。可他沒想到，此時劉裕也派人到了魏國，想借北魏的水道向西進軍。魏國皇帝拓跋嗣不知怎麼辦好，有大臣建議讓劉裕的部隊過去，但又害怕劉裕會攻打自己，就派司徒孫嵩帶領10萬人駐守在黃河北岸，監視晉軍的活動。

晉軍開始西行，魏軍也派了幾千名騎兵在岸上，跟隨晉軍一起西行。魏軍不斷地擾亂晉軍，晉軍士兵有的掉入水中被衝到岸上，魏軍抓到立刻就殺掉，劉裕非常生氣，就派兵下船去攻打魏國。可是，等晉軍士兵一上岸，魏軍就躲了起來，晉軍士兵沒辦法，只好又上船，魏軍就又來擾亂。於是，劉裕擺出一個「卻月陣」與魏軍對戰。

「卻月陣」由700名勇士、200輛戰車組成。劉裕派親兵登上黃河北岸，沿著河岸擺了一個半圓形的軍陣，兩頭緊靠著河岸，中間向外鼓出來，像一個新月。陣的中央，埋伏著名弩弓手，由新野太守朱超石帶領。最中間有一輛戰車，上面有一桿白色的旗，用來發佈命令。

魏軍將士一看這從來沒見過的陣勢，有些害怕，不敢貿然向前。這時，「卻月陣」中的白旗連續晃動幾下，2000名弩弓手登上戰車。司徒嵩以為晉軍要進攻了，趕忙下令，命部隊向「卻月陣」衝去。這時，白旗一搖，晉軍弩弓手開始射箭，魏軍一排排倒下。可魏軍人數眾多，還是不斷向前衝。白旗又一搖，「卻月陣」中又推出100輛戰車，車上裝著弩弓利矛，晉軍用錘子敲打機關，無數利矛飛出來射向魏兵，這種矛十分厲害，可以一下射死三四個人。魏軍一下子就有幾千人倒下，後面的人嚇得趕緊逃命，再也不敢擾亂晉軍西進了。晉軍幾路人馬會合，很快攻下了長安。

劉裕在長安住了兩個月，建康傳來急報「左僕射劉穆之死了」。劉裕非常擔心，他害怕自己離開朝廷太久，大權會被別人奪去，於是就返回了建康，親自掌管了朝政，又派一些親信擔任要職。此時，劉裕做皇帝的野心一天天大起來。不久後，他派人害死了晉安帝。

之後，劉裕又派心腹傅亮去勸晉恭帝讓位給他。當時，朝廷大臣們認為劉裕做皇帝是改變不了的，都不敢說什麼。晉恭帝見大勢已定，就被迫把皇位讓給了劉裕。劉裕登上皇位，改國號為宋，史稱劉宋。東晉王朝至此滅亡。從這之後，公元420年到公元589年裡，中國南方的政權頻繁更替，先後經歷了宋、齊、梁、陳四個王朝。這些王朝都在建康定都，史稱「南朝」。