李淵據說是西漢名將李廣和十六國時期西涼國開國君主李暠之後裔。因為隋文帝的獨孤皇后是李淵的姨媽，所以身為「官二代」的李淵仕途一直很順，北周時歷任御史大夫、安州總管、柱國大將軍。隋煬帝即位後，李淵任滎陽(今河南鄭州)、樓煩(今山西靜樂)二郡太守。大業十一年(615年)，拜山西河東慰撫大使。在拜山西河東慰撫大使期間，李淵展示出了高超的武功，史書記載，他與龍門賊作戰，「射七十發皆中，賊敗去，而斂其屍以築京觀，盡得其箭於其屍」。後來又與絳州賊柴保昌部作戰，「降其眾數萬人」。突厥侵犯邊境，李淵巧設伏兵，以少勝多，打敗了突厥。兩年後，李淵升為太原留守，成為封疆大吏。

　　當時，人民不滿隋煬帝的暴虐統治，紛紛起義，隋朝的政局陷入動亂之中。看到很多人起兵反隋，隋煬帝愈加疑神疑鬼，以「猜忌殺戮大臣」。他曾經召李淵去江都議事，正趕上李淵生病，不能前行。隋煬帝便心生猜忌，問：「可得死否?」李淵知道此事後非常害怕，不知道該怎麼辦，只好借酒澆愁。

　　就在老爸還為如何避禍而糾結之際，二兒子李世民已經著手做起兵反隋的準備工作了。《資治通鑒》載：「世民聰明勇決，識量過人，見隋室方亂，陰有安天下之志，傾身下士，散財結客，鹹得其歡心。」背著老爸，李世民招納死士，與劉文靜、裴寂等人謀舉大事。為了讓老爸下決心造反，李世民還與裴寂密謀，故意讓李淵犯死罪。裴寂選隋煬帝晉陽行宮的宮人私侍李淵。

   李淵不知，在稀里糊塗中就睡了「皇帝的女人」。事後，李淵與裴寂飲酒，酒酣之際，裴寂才把要起兵反隋之事告訴李淵，李淵大驚。裴寂接著說：「我選的那個侍奉您的女人正是隋煬帝的晉陽宮人，這事若被隋煬帝知道，您犯的也是死罪。我們這麼做，為的就是促使您下決心起兵反隋。」

　　李世民也勸李淵起兵，他說：「現在皇上無道，百姓窮苦。您若守小節，下有寇盜，上有嚴刑，隋朝很快就會亡掉了，反不如趁機起兵反隋，轉禍為福。」李淵最初不答應，還把二兒子李世民抓了送官。李世民說：「我看天下大勢就是這樣，所以才這麼勸您。您要非把我抓了送官府，您就抓吧。」遇到了強悍的兒子，李淵也沒脾氣了，說：「我這麼喜歡你，怎麼忍心向官府告發你呢?」

　　後來經李世民、劉文靜、裴寂等人的再次勸說，李淵遂在大業十三年(617年)五月起兵反隋。李淵反隋後，一面遣劉文靜出使突厥，請求始畢可汗派兵馬相助，一面招募軍隊，率師南下，趁李密與王世充在洛陽激戰正酣之際，乘隙進取關中。

   十一月，李淵攻下長安，在關中站穩了腳跟。李淵入長安後，立煬帝孫代王楊侑為天子(隋恭帝)，改元義寧，楊侑尊隋煬帝為太上皇;又以楊侑名義自加假黃鉞、使持節、大都督內外諸軍事、尚書令、大丞相，進封唐王，總理萬機。

   次年(618年)，李淵稱帝，改國號唐，定都長安。不久唐統一了全國。