鄂邑公主已经嫁给盖侯，但是在入宫的日子里，她跟一个叫丁外人的河间人私通，这事情弄得举朝皆知，霍光因为天子的启事，也并未究查，但这实在即是变相的放纵了鄂邑公主。厥后公主跟丁外人的干系逐步公野蛮，一些官员求长进，都求到丁外人那边去。乃至连霍光的助手上官桀等人也求他办事。
丁外人对上官安的承诺做到了，该到上官安实现对丁外人的承诺了。上官安跟父亲上官桀去求霍光，本朝端方是列侯娶公主，丁外人跟公主都住在一起了，并且也获得了朝野的默许，不如就成全他们吧。但是霍光以为公主跟丁外人这事分歧法，公主本身已经嫁给盖侯，如果封丁外报酬列侯，可谓名不正言不顺，天下人会如何看？既然不封侯，那封个光禄大夫也行啊，起码公主就有了合法的来由召见丁外人了。
上官桀、桑弘羊等人跟燕王刘旦同谋，趁着霍光休假不在朝廷，让人以燕王的名义上书告状，说霍光出行用的是天子的法则，并且他任人唯亲，苏武在北海放了十八年的羊，又是吃羊毛又是喝雪水的，返来只给了个小小的典属国做，而杨敞任何功绩都没有，只因为是霍光的人，就汲引他做搜粟都尉。霍光还擅自变更幕府校尉，能够是要图谋不轨。不如让我从速入宫宿卫，庇护天子。
这个发起也被霍光回绝了。
公元前119年，机遇来了。这一年，朝廷又一次大出兵征讨匈奴，霍去病率军出代郡北伐，沿途颠末河东郡。此时霍去病已是天子身边红得发紫的大红人，其势头已超越大将军卫青，再加上此行是帝国最首要的军事行动，处所官天然不敢怠慢。河东太守亲身郊迎，到了平阳传舍，霍去病派人去驱逐父亲霍仲儒。也就在这个时候，霍去病才晓得本身另有个弟弟。他为父亲买了田宅，以及仆人，就出征了.班师返来,他又一次跟父亲见面，并且带着霍光去了都城。这个时候，霍光还是个孩子，只要十几岁。因为哥哥的启事，霍光被任命为郎官，成为宫中侍卫，厥后他一步步做了侍中、奉车都尉、光禄大夫。
从藩王到朝廷重臣，这些人都想要撤除霍光，霍光的处境一下子伤害了，但是霍光本身并没有发觉到，以是该上班时就上班，该休假时就休假。天还是跟明天一样蓝，氛围还是跟明天一样新奇，大臣们的笑容也跟明天一样光辉，统统仿佛都很普通。他放心肠休假去了，临走的时候，按例将朝政交给上官桀措置。
上官桀跟霍光干系很好，做了后代亲家。霍光休假的时候，就将政务交给上官桀措置，两人一向相安无事。上官桀的儿子上官安有个女儿，年方五岁，上官桀一向但愿能将孙女送入宫中。他跟霍光提起过这事，实在他的孙女也就是霍光的外孙女，但是霍光感觉孩子太小，天子也小，还不到结婚的时候，就没承诺。上官安跟丁外人干系好，求丁外人向鄂邑公首要求，他对丁外人说：“我女儿边幅出众，如果能因为公主而进入宫中做了皇后，我们父子有了这层干系，在朝廷那就有盘石之坚了。本朝的端方，只要列侯才气娶公主，你还担忧封不了侯吗？”丁外人曾经为这事让公主跟霍光说，霍光没承诺，如果有上官桀父子帮忙，事情胜利的掌控就很大了，因而他从速跑去跟公主讨情，公主也很欢畅，将上官安的女儿召进宫中封为婕妤，几个月后又册封为皇后，上官安被汲引为骑都尉。
武帝归天后，霍光遵循武帝的遗诏，恪失职守，帮手幼主。因为天子年幼，霍光让天子的姐姐鄂邑公主入宫照顾小天子。这本是美意，却留下了后患。