李密接收瓦崗軍，攻陷了隋朝的大糧倉洛口倉，他開倉放糧，賑濟災民，一時間擁兵百餘萬。勢力之大，大有吞併中原之勢。
竇建德也攻城略地，接連消滅隋朝的主力軍隊，佔據了整個河北地區。
杜伏威則在江淮作戰，大敗隋朝軍隊。
農民起義軍在反抗隋軍的征戰中，漸漸取得了優勢。隋帝國的軍隊逐漸被義軍消耗殆盡，天下漸成四方割據之勢。
六月，楊廣詔命駐守關中的龐玉和霍世舉率領關內府兵馳援東都洛陽留守王世充，共同討伐李密。
關中城防空虛！
李淵巨眼識天下，當他得知這一情報，感到南下關中的時機已經完全成熟。
很快，李淵命李世民率五百親兵伏於興國寺，並在自己的議事大廳中設計好騙局，一舉除去了監視他的王威與高君雅，從而取得了晉陽城的絕對控制權。
不久，遠在河東城的李淵長子李建成得到父親的密信，率領全家上下全部宗族來到晉陽城與父親會合。至此，李淵免去了後顧之憂。
緊接着，李淵接受劉文靜的建議，與此時兵甲強銳的漠北霸主始畢可汗互相結盟。
他派劉文靜出使漠北，與始畢可汗相約——“唐公得天下，土地人口歸唐公，財帛歸突厥。”始畢可汗大喜，答應鼎力輔助李淵的起兵大計。
六月十四日，李淵組建大將軍府，自爲大將軍，任命裴寂爲長史，劉文靜爲司馬，唐儉和前長安尉溫大雅爲記室，溫大雅仍和他弟弟溫大有共同掌管機密，任命武士彠爲鎧曹參軍，劉政會和武城人崔善爲、太原人張道源爲戶曹參軍，晉陽長上邽人姜謩爲司功參軍，太谷長殷開山爲府掾，劉政會爲府屬，以及權弘壽、盧階、田德平參佐等官。
李淵將招募來的兵馬分爲左右三軍，世子李建成封隴西公、左領大都督，統領左三軍；次子李世民爲燉煌公、右領大都督，統領右三軍；李元吉爲姑臧公，領中軍。長孫順德、鷹揚郎將王長諧、姜寶誼、劉弘基、竇琮、李高遷、楊毛、陽屯、魏進等人分別爲左右統軍、副統軍。柴紹爲右領軍府長史。
十八日，突厥始畢可汗派其柱國康鞘利、級失、熱寒、特勤、達官等，送馬千匹來晉陽城進行互市，並答應借兵給李淵。李淵派劉文靜隨康鞘利回突厥汗帳，聯絡借兵事宜。
此時，瓦崗軍漸漸於中原坐大，但同時也招致隋軍的瘋狂反撲。天下雖然紛亂，可隋朝擁有天下的名號還在，隋軍主力還有相當的戰鬥力，各路割據政權中也是彼此牽制且相互觀望，並未出現任何一方代隋而坐擁天下之勢。
值此風雲變幻之際，李淵經過深思熟慮，採納了劉文靜的計策。義軍打起了“安隋室”的旗號，一來避免樹敵過多，二來最大限度的保存自身實力。
大軍所過之處，遍撒檄文——“今天下流寇四起，社稷有傾覆之憂！朝政日敗，百姓有亡命之危！茲爾唐公，不忍黎民倒懸，欲匡扶社稷，斧正綱紀。天下紛亂，皆因佞臣當道，政令偏私所致。義軍南下，即爲拯民於水火，還天下太平……”
沿途百姓聽聞李淵興起義兵，紛紛報名參軍。加之李淵素來德望甚高，各路義軍也紛紛前來投奔。
大軍雖然在河東城受到隋朝名將屈突通的阻截，久攻不下。但李淵很快調整了思路，聽從了汾陽人薛大鼎的建議，向西渡過黃河，自渭北原南下長安。
關中的義軍聽聞唐公李淵來到，紛紛歸附。李淵的女兒平陽公主和其丈夫柴紹也聚攏了數萬人馬，前來匯合。
只用了兩三個月的時間，李淵的隊伍迅速壯大到了二十餘萬人馬。
是年十一月，李淵攻克長安城。他擁立時年十三歲的代王楊侑爲皇帝，遙尊遠在江都的楊廣爲太上皇。
李淵自稱丞相，進封唐王，假黃鉞，使持節，都督內外諸軍事，將所有的軍政大權集於一身。
跟隨李淵起兵的班底成員，全部有所封賞，他們實際上已經完全掌控了長安的小朝廷。
所有人都聽命於李淵，皇帝不過是個傀儡而已。
李淵主政之後，立即着手實施了一系列影響深遠的政策。其一，宣佈“與民約法十二條，盡除隋朝苛政”，爭取了民心；其二，大舉招賢納士，最大限度延攬人才，爲我所用；其三，獎勵軍功，沿用並改革府兵制，擴充兵員，以適應戰時政權的需要；其四，任用原隋朝勳貴，大肆封爵，籠絡豪強，避免不必要的戰爭。
經過一段時間的經營，李淵在長安城立穩了腳跟。