杨国忠、杨铦与韩、虢、秦三夫人宅院，都在宜阳里中，甲第之盛，拟于宫中。国忠与这三个夫人，原不是真兄弟妹；三个夫人中，虢国夫人尤其淫荡奢糜，每造一堂一阁，费资巨万；若见他家所造，有更胜于己者，即自拆毁复造，土木之工，无时歇息。其所居宅院，与杨国忠宅院相连，来往比来，便当得很，遂与国忠通奸。杨国忠入朝，或偶然竟与虢国夫人并舆同业，见者无不暗笑，而二人恬然不觉得耻。安禄山亦乘间与虢国夫人来往甚密，夫人私赠以平生所最爱的玉连环一枚。禄山喜极，佩带身边，不料于宴会当中，换衣时为国忠所见。国忠只因禄山克日待他简傲，心甚不平，今见此玉连环，认得是虢国夫人之物，知他两下有私，遂恨安禄山切骨，时于言语之间，隐然把他暗中私通贵妃之事，为危词以打单之；又常私语杨妃，说禄山行动不谨，外议沸然，万一天子知觉了，这是些甚么事，为祸非同小可。杨妃闻国忠所言，实在心机疑惧。恰是：
国忠乘此机遇，要发遣安禄山出去，便上疏说道：“河东重地，固须得番报酬帅；然后必以番人当中有才略、有声望者镇之；非安禄山不敷以当此重担。”玄宗览疏，深觉得然，即召安禄山来面谕说道：“汝以满腹赤忱事朕，本应留汝在京，为朕侍卫；但河东重镇，非汝不成，今暂遣出为边帅，仍许不时入朝奏对。”遂降旨以安禄山为平卢、范阳、河东三镇节度使，赐爵东平郡王，克期走马到差。禄山闻命，倒也合着他的意义，叩首级旨，本日入宫拜辞杨妃，两下依依不舍。杨妃叫入密室，执手私语道：“你今此行，皆因为吾兄相猜忌之故。我和你欢叙多时，一旦阔别，好生不忍。但你在京日久，起人怀疑，出为外镇，一定非福：你放心前去，我自当使亲信人来通信与你，迟早奴在天子面前，留意照顾着你。你只顾自去图功立业，不必疑虑。”安禄山点头应诺。正说间，宫人传报说道：“三位夫人已入宫来了。”杨贵妃访问叙礼毕，安禄山也各各相见。虢国夫人闻知安禄山今将远行，甚为怏怏；奈朝命已下，无可如何，禄山也不敢久留宫中，随即告别出宫。光临行之时，玄宗又赐宴于便殿，安禄山谢过了恩，辞朝赴镇。
李白日逐与这几个酒友喝酒吟诗，不觉又在京师混过了几时。一日酒后，偶遇安禄山于朝门外，安禄山欺他是醉人，言语戏谑，未免冒昧。李白乘着酒兴，把禄山一场痛骂，禄山非常忿怒，无法他是天子爱重之人，难以侵犯，只得含忍。李白自料为女子小人辈所忌，若不早早罢官归去，必有后祸；又见杨国忠、李林甫等，各自结党弄权，勾引君心，政事日坏，身非谏官，势不能直言匡救，何取乎备位朝端；因恳诚心切的上了一个去官乞归之疏。玄宗知其去志已决，召至御前，面谕道：“卿必欲舍朕而去，不便强留，许卿暂回田里；但卿草诏平番，有功与国，岂可空归；然朕知卿高雅，必无所需求，卿所不成一日缺者，唯独酒耳。”遂御笔亲写敕书一道以赐之，其敕略云：
郭子仪感激李白活命之恩，誓将衔环图报。李白别了郭子仪，并哥舒翰等众官，自往他处行游去了，临行之时，又谆属哥舒翰青目郭子仪。自此子仪得以军功，渐为显官，此是后话。且说朝中自李白去后，贺知章也告休致去了；左相李适之，因与李林甫有隙，罢相而归；林甫又陷他以事，逼之他杀。林甫倚着天子信赖，手握重权，安禄山亦甚畏之，杨国忠也心胸嫉忌，然其势不得不互为党援。玄宗往年连杀三子以后，林甫劝立寿王瑁为太子，玄宗从高力士之言，立忠王玙为太子。林甫嫌忌，谋倾陷之。时有户曹官杨慎矜凭借杨国忠，自以为杨氏本家，又与罗希奭、吉温等，俱为李林甫门下鹰犬，林甫因与计议，教他上密疏，诬告刑部尚书韦坚，与节度使皇甫惟明，同谋废帝，而立太子，引杨国忠为证。本来那韦坚，乃太子妃韦氏之兄，皇甫惟明是边方节度使，偶来京师，曾参谒太子，又曾面奏天子，说宰相弄权。林甫挟恨，因借端诬捏，并以摆荡东宫。玄宗览疏大怒，幸亏高力士力辨其诬，乃不显言二人之罪，只传旨贬削二人之官。太子闻知，错愕无措，上表请与韦氏仳离。玄宗亦因高力士劝谏，不允太子所请。李林甫又密奏，乞将此事付杨慎矜与罗希奭、吉温等鞫问，并请着杨国忠监审。玄宗降旨，只将韦坚、皇甫惟明赐死，事情不必穷究，因而太子之心始安。