恰是积毁成山，三人成虎。到开皇二十年十月，隋主御武德殿，宣诏废勇为庶人。其子长宁王俨，上疏求宿卫，隋主甚有怜悯之意，却又为杨素阻住。另有一个五原公元旻切谏，一个文林郎杨孝政上书，隋主听信杨素，俱遭刑戮。杨素却快本身的繁华能够悠长。到了十一月，撺掇隋主立晋王为太子；以宇文述为东宫左卫率。晋王接着旨意，先具表奏谢，随择吉同萧妃朝见，移居禁苑，奉养父母，非常贡献。隋主意他如此，也自欢乐，且按下不题。
隋主自独孤后身后，宫帏孤单，遂传旨于后宫嫔妃秀士当挑选斑斓者进御。自有此旨，宫中大家望幸，个个思恩。谁知三千宠幸，只在一身，如何选得很多。选遍六宫，仅仅选得两个：一个是陈氏，一个是蔡氏。陈氏乃陈宣帝的女儿，生得脾气和顺，风韵窈窕，端的有沉鱼落雁之容，闭月羞花之貌。蔡氏乃丹阳人也，一样风骚娇媚。隋主意了，喜不自胜，因说道：“朕老矣！情无所适。今得二卿，足为老景之娱。”随封陈氏为宣华夫人，蔡氏为容华夫人。二人虽并承雨露，而宣华夫人宠嬖尤甚。隋主自此今后，日日欢宴，比独孤后在日，更觉适意。
一废一兴，自有天数。这杨约得了晋王贿赂，要为他传达杨素。每值相见，故作愁态。一日杨素问他：“因甚怏怏？”杨约道：“前日兄长外转，东宫卫率苏孝慈，仿佛过执，闻太子道：‘会须杀此老贼！’老贼非兄而谁？愁兄白首，履此危急。”杨素笑道：“太子亦无如我何！”杨约道：“这却不然。太子乃将来人主。倘主上一旦弃群臣，太子即位，便是我家举族所系，岂可不深虑？”杨素道：“据你意，还是谢位避他，还是现在改心顺他？”杨素道：“避位失势；纵顺，他也不能释怨。只要废得他，更立一人，不唯免患，另有大功。”杨素抚掌道：“不料你有这智谋，出我不测！”杨约道：“这还在速，若游移，一旦太子用事，祸无日矣！”杨素道：“我晓得还须皇后为内主。”
却说隋主早朝罢，满心想着昨夜的欢愉，巴不得一步就走到仁寿宫来，与尉迟氏欢聚。及进得宫，那晓得独孤后愁眉瞋目，恶刹刹站在一边；尉迟氏花残月缺，血淋淋横在地下。蓦地瞥见，吃了一惊，心中大怒，更不发言，往外便走。恰遇一小黄门牵马而过，隋主便跨上马，从永巷中一向径奔出朝门，逞一愤然之气，欲丢弃天下，奔入山谷中去。幸值高颎出朝见了，抵死上前阻住，叩问何故。隋主只得回马，仍至大殿，调集各官，将独孤后打死尉迟氏女说了一遍，要草诏废斥那老妇。高颎奏道：“陛下差矣。陛下焦心劳思，入虎穴，探龙珠，不知费了多少兵器，方能同一天下，正宜励精图治，以遗子孙，岂能够一妇人而轻视天下乎？”隋主怒犹未息。颎等再三申劝，方始回宫。独孤后病中着恼，又因这一惊，病体更加沉重；合眼只见尉迟女为厉，遂成惊痫之疾，日甚一日，不数月而崩。免不得颁诏天下，命所司议定丧葬仪制，一一如礼。先人有诗，专道独孤后之妒云：