玄月，丙戌，上至自仁寿宫。
帝使司农卿赵仲卿往益州穷案秀事，秀之来宾颠末之处，仲卿必深文致法，州县长吏坐者太半。上觉得能，犒赏甚厚。
厥后上亦浸疏忌素，乃下敕曰：“仆射国之宰辅，不成躬亲细务，但三五日一贯省，批评大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判费事。出杨约为伊州刺史。
仁寿三年癸亥，公元六零三年秋，八月，壬申，赐幽州总管燕荣死。荣性严格，鞭挞摆布，动至千数。尝见道次丛荆，觉得堪作杖，命取之，辄以试人。人或自陈无罪，荣曰：“后有罪，当免汝。”既而有犯，将杖之，人曰：“前日被杖，使君许以有罪宥之。”荣曰：“无罪尚尔，况有罪邪！”杖之自如。
观州长史元弘嗣迁幽州长史，惧为荣所辱，固辞。上敕荣曰：“弘嗣杖十已上罪，皆须奏闻。”荣忿曰：“竖子何敢玩我！”因而遣弘嗣监纳仓粟，扬得一糠一秕，皆罚之。每笞虽不满十，然一日当中，或至三数。如是积年，怨隙日构。荣遂收弘嗣付狱，不准其粮，弘嗣抽衣絮杂水咽之。其妻诣阙称冤，上遣使按验，奏荣残暴，赃秽狼籍；征还，赐死。元弘嗣代荣为政。酷又甚之。
素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌奥妙；素由是恶之。
毗见杨素擅权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘霖冬澍；荣枯由其唇吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，后辈布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心一定伊尹也。伏愿揆鉴古今，量为措置，俾洪基永固，率土幸甚！”书奏，上大怒，收毗系狱，亲诘之。毗极言“素擅宠弄权，将领之处，殛毙无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国度有事觉得身幸。”上无以屈，乃释之。