闰月，甲申，诏杨素、苏威与吏部尚书牛弘等修定五礼。
仁寿三年癸亥，公元六零三年秋，八月，壬申，赐幽州总管燕荣死。荣性严格，鞭挞摆布，动至千数。尝见道次丛荆，觉得堪作杖，命取之，辄以试人。人或自陈无罪，荣曰：“后有罪，当免汝。”既而有犯，将杖之，人曰：“前日被杖，使君许以有罪宥之。”荣曰：“无罪尚尔，况有罪邪！”杖之自如。
太子阴作偶人，缚手钉心，桎梏杻械，书上及汉王姓名，仍云“请华山慈父圣母神兵收杨坚、杨谅神魂，如此形状，勿令散荡。”密埋之华山下，杨素发之；又云秀妄述图谶，称京师妖异，造蜀地征祥；并作檄文，云“指期问罪”，置秀集合，俱以闻奏。上曰：“天下宁有是邪！”十仲春，癸巳，废秀为庶人，幽以内侍省，不听与老婆相见，唯獠婢二人差遣，连坐者百馀人。秀上表摧谢曰：“伏愿慈恩，赐垂矜愍，残息未尽之间，希与瓜子相见；请赐一穴，令骸骨有所。”瓜子，其爱子也。上因下诏数其十罪，且曰：“我今不知杨坚、杨谅是汝何亲？”后乃听与其子同处。
玄月，壬戌，置常平官。
蜀王秀至长安，上见之，不与语；明日，使使切让之。秀赔罪，太子诸王流涕庭谢。上曰：“顷者秦王糜费财物，我以父道训之。今秀蠹害生民，当以君道绳之。”因而付法律者。开府仪同三司庆整谏曰：“庶人勇既废，秦王已薨，陛下见子无多，何至如是！蜀王性甚廉洁，今被重责，恐不自全。”上大怒，欲断其舌，因谓群臣曰：“当斩秀于市以谢百姓。”乃令杨素等推治之。
太子问于贺若弼曰：“杨素、韩擒虎、史万岁皆称良将，其好坏何如？”弼曰：“杨素虎将，非谋将；韩擒虎斗将，非领将；史万岁骑将，非大将。”太子曰：“但是大将谁也？”弼拜曰：“唯殿下所择！”弼意自许也。
观州长史元弘嗣迁幽州长史，惧为荣所辱，固辞。上敕荣曰：“弘嗣杖十已上罪，皆须奏闻。”荣忿曰：“竖子何敢玩我！”因而遣弘嗣监纳仓粟，扬得一糠一秕，皆罚之。每笞虽不满十，然一日当中，或至三数。如是积年，怨隙日构。荣遂收弘嗣付狱，不准其粮，弘嗣抽衣絮杂水咽之。其妻诣阙称冤，上遣使按验，奏荣残暴，赃秽狼籍；征还，赐死。元弘嗣代荣为政。酷又甚之。
交州俚帅李佛子反叛，据越王故城，遣其兄子大权据龙编城，其别帅李普鼎据乌延城。杨素荐瓜州刺史长安刘方有将帅之略，诏以方为交州道行军总管，统二十七营而进。方军令严厉，有犯必斩；然仁爱士卒，有疾病者亲临抚亲，士卒亦以此怀之。至都隆岭，遇贼，击破之。进军临佛子营，先谕以祸福。佛子惧，请降，送之长安。
始，毗为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毗患之。后因诸酋长相帅以金遗毗，毗置金坐侧，对之恸哭，而谓之曰：“此物饥不成食，寒不裁缝，汝等以此相灭，不成胜数，今将此来，欲杀我邪！”一无所纳。因而蛮夷感悟，遂不相进犯。上闻而善之，征为大理卿，处法平允。
杨素弟约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾硙、便当田宅，不成胜数；家僮数千，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳彧及尚书右丞李纲、大理卿梁毗罢了。