壬辰，改州为郡；改度量衡量，并依古式。改上柱国以下官为大夫；置殿内省，与尚书、门下、内史、秘书为五省；增谒者、司隶台，与御史为三台；分太府寺置少府监，与长秋、国子、将作、都水为五监；又增改左、右翊卫等为十六府；废伯、子、男爵，唯留王、公、侯三等。
又诏发丁男百馀万筑长城，西拒榆林，东至紫河。尚书左仆射苏威谏，帝不听，筑之二旬而毕。帝之征散乐也，太常卿高飃谏，不听。飃退，谓太常丞李懿曰：“周天元以好乐而亡，殷鉴不远，安可复尔！”飃又以帝遇启民过厚，谓太府卿何稠曰：“此虏颇知中国真假，山川险易，恐为后患。”又谓观王雄曰：“迩来朝廷殊没法纪。”礼部尚书宇文弼私谓飃曰：“天元之侈，以今方之，不亦甚乎？”又言：“长城之役，幸非急务。”光禄大夫贺若弼亦私议宴可汗太侈。并为人所奏。帝觉得诽谤朝政，丙子，高飃、宇文弼、贺若弼皆坐诛，飃诸子徙边，弼老婆没官为奴婢。事连苏威，亦坐免官。飃有文武大略，明达世务，自蒙寄任，竭诚尽节，进引贞良，以天下为己任；苏威、杨素、贺若弼、韩擒虎皆飃所保举，自馀建功立事者不成胜数；当朝在朝将二十年，朝野推服，物无贰言，海内富庶，飃之力也。及死，天下莫不伤之。先是，萧琮以皇后故，甚见亲重，为内史令，改封梁公，宗族緦麻以上，皆随才擢用，诸萧昆弟，布列朝廷。琮性澹雅，不以职务为意，身虽羁旅，见北间豪贵，无所降下。与贺若弼善，弼既诛，又有儿歌曰：“萧萧亦复起。”帝由是忌之，遂废于家，未几而卒。