他有十一個兒子，大兒子安慶宗，任太僕卿，小兒子安慶緒，任鴻臚卿。其中，安慶宗又娶皇太子的女兒爲妻。
安祿山在獲得權力的同時，暗地準備叛亂。
他在范陽州城北邊築起了雄武城，表面上看來是防禦侵略，實際上是儲藏兵器、糧食做堅守范陽的部署，戰馬有一萬五千匹，牛羊也相當於這個數目。
他一身兼任平盧、范陽、河東三鎮節度，進朝奏請沒有不答應的。
他把張通儒、李庭堅、平冽、李史魚、獨孤問俗羅致身邊，讓高尚主持書記工作，劉駱谷留在長安當情報人員，安守忠、李歸仁、蔡希德、向潤客、崔乾、尹子奇、何千年、武令王旬、能元皓、田承嗣、田乾真，都是從軍隊裏選拔出來的。
每個月向他進獻驢子駱駝戰馬獵鷹獵犬的絡繹不絕，獵戶們被弄得無以爲生。
安祿山過於肥胖不能打仗，前後十多次誘騙契丹人，設宴款待時在酒裏放入麻醉草藥莨菪子，預先挖好土坑，等到契丹人昏迷了，砍下頭來就埋掉，都在不知不覺中送命，每次幾十人。
他也就會耍些陰謀手段而已，真正打戰，卻未必幹得過突厥。
天寶十一年，公元752年八月，安祿山一共統率河東等鎮兵馬五六萬，號稱十五萬人，討伐契丹。
他的隊伍離開平盧一千多裏，開到了土護真河，就是北黃河。又加快速度日行三百里，猛然間開到了契丹統帥的軍帳跟前。
由於一連下了很長時間的雨，弓箭都被浸溼，再加上部隊經過長途跋涉疲憊不堪，契丹人採取夾攻他們的法子，安祿山的部隊傷亡殆盡
安祿山本人被射中一箭，射斷了他頭上的玉簪，他帶着手下奚族雜役二十多人跑上山頭，掉進了坑洞。他的兒子安慶緒等人攙扶着他，這才逃向了平盧城。
安祿山通過這一次戰敗，要求朝廷增派人馬，李隆基對他一點懷疑都沒有，給他增派了人馬。
楊國忠看到李隆基對安祿山的重用，感覺到了威脅，當下多次對李隆基說安祿山一定會叛亂。
天寶十二年，公元753年，李隆基派中官輔趚琳去偵察，他接受了安祿山的賄賂，回來後大講安祿山忠心耿耿。
李隆基聽了，對安祿山又非常放心。
楊國忠不死心，繼續害安祿山，對李隆基說：“召安祿山進京，他一定不會來”
李隆基聽了，下令召見安祿山，安祿山卻一點擔憂的樣子都沒有，直接去京城了。
他這個有勇氣的做法，使得李隆基對他更加放心。
天寶十三年正月，安祿山到華清宮拜見李隆基，乘機哭着說：“我是奚族人，不識漢字，皇上越級提拔我，以致楊國忠想要殺我”
李隆基安慰安祿山，叫他安心報國，對他更加親密寬厚，同時任命他爲左僕射。
安祿山這才滿意而歸。
當月，安祿山又呈奏章請求任命自己爲閒廄使、隴右羣牧等都使，任命吉溫爲武部侍郎、兼中丞，當他的副手，又請求主持總監事務。他當了閒廄使、羣牧等使之後，上等好馬都暗地挑選出來，奪得了樓煩的監牧之後接着又奪取張文儼的馬牧。
這時，只要有人說安祿山要造反，李隆基一定會大發雷霆，把他捆綁起來送交安祿山。
七月，河南尹達奚珣懷疑安祿山要造反，當下奏請“諭祿山以進車馬宜俟至冬，官自給夫，無煩本軍。”
李隆基看了奏疏，開始懷疑安祿山起來了。
這時，輔璆琳受安祿山賄賂的事泄露了出來，李隆基大怒，當下託以他事，把他撲殺了。
李隆基派遣中使馮神威帶手詔諭安祿山，裏面說：“朕新爲卿作一湯，十月於華清宮待卿。”
這一次，安祿山要是不入京的話，那就必反無疑了
馮神威到了范陽宣旨，安祿山踞牀微起，但不拜，而是說：“聖人安隱。”又說：“馬不獻亦可，十月灼然詣京師。”說完，派左右引馮神威到館舍，不再見他。
過了幾天，把馮神威遣還，也不上表。
馮神威回去之後，見到了李隆基，哭着說：“臣幾不得見大家”
安祿山之所以連表都不上，那是因爲，他一切已經準備，就要造反了
這年十一月，安祿山派去京城的官員回來，他當下詐稱有敕書，把所有將領召了過去，然後出示敕書給大夥看，說：“有密旨，令祿山將兵入朝討楊國忠，諸君宜即從軍”
大家聽了，愕然相顧，莫敢異言。
安祿山見大家不敢反對，當下發所部兵以及同羅、奚、契丹、室韋兵馬，合起來有十五萬人，號二十萬，在范陽起兵。
安祿山出薊城南，大閱兵馬誓衆，以討楊國忠爲名，張榜軍中說：“有異議扇動軍人者，斬及三族”當下引兵而南。
安祿山乘鐵輿，步騎精銳，煙塵千里，鼓譟震地。
白居易長恨歌中寫道“漁陽鼙鼓動地來，驚破霓裳羽衣曲”，消息很快傳到了李隆基那裏去了。
李隆基緊急召宰相們商議對策。
楊國忠洋洋得意，覺得自己有先見之明，安祿山果然造反，當下說：“如今反的人，就安祿山一人而已，將士都不願意造反。所以，不過一個月，必定傳首詣行在”
李隆基聽了，覺得確實如此。
大臣們卻相顧失色，因爲他們很清楚，唐朝由於天下太平的日子太長了，人們不懂戰爭，朝廷之中，更是沒有能謀善戰的將領，哪裏能抵擋安祿山的虎狼之師
安祿山一路高歌猛進，十二月，他率軍渡過黃河，到達陳留郡。河南節度張介然州城失守殉難，首級傳到了河北。
朝野聞之，一片動盪懼怕。
這時，連李隆基也開始害怕起來，知道想滅掉安祿山沒那麼容易了