仲春，上幸晋阳，命高飃居守。夏，四月，辛酉，至自晋阳。
矩复命，上谓高飃、杨素曰：“韦洸将二万兵不能早度岭，朕每患其兵少。裴矩以三千弊卒径至南海，有臣若此，朕亦何忧！”以矩为民部侍郎。拜冯盎高州刺史，追赠冯宝广州总管、谯国公。册洗氏为谯国夫人，开谯国夫人幕府，置长史以下官属，官给印章，听发部落六州兵马，如有机急，便宜行事。仍敕以夫人诚效之故，特赦暄逗留之罪，拜罗州刺史。皇后赐夫人金饰及宴服一袭，夫人并盛于金箧，并梁、陈赐物，各藏一库，每岁时大会，陈之于庭，以示子孙，曰：“我事三代主，唯用一忠顺之心。今赐物具存，此其报也。汝曹皆念之，尽赤忱于天子！”
素班师，上遣左领军将军独孤陀至浚仪迎劳；比到京师，问者日至。拜素子玄奖为仪同三司，犒赏甚厚。陀，信之子也。
平乡令刘旷有异政，以义理晓谕，讼者皆引咎而去，狱中草满，庭可筹措；迁临颍令。高飃荐旷清名善政为天下第一，上召见，劳勉之，顾谓侍臣曰：“若不殊奖，何故为劝！”丙子，优诏擢为莒州刺史。
番禺夷王仲宣反，岭南首级多应多，引兵围广州。韦洸中流矢卒，诏以其副慕容三藏检校广州道行军事。又诏给事郎裴矩巡抚岭南，矩至南康，得兵数千人。仲宣遣别将周师举围东衡州，矩与大将军鹿愿击斩之，进至南海。
素遣总管史万岁帅众二千，自婺州别道逾岭越海，攻破溪洞，不成胜数。前后七百馀战，转斗千馀里，寂无声问者十旬，远近皆以万岁为没。万岁置书竹筒中，浮之于水，汲者得之，言于素。素上其事，上嗟叹，赐万岁家钱十万。
杨素用兵多机谋，驭众严整，每将临敌，辄求人不对而斩之，多者百馀人，少不下十数，流血盈前，谈笑自如。及其对陈，先令一二百人赴敌，陷陈则已，如不能陷而还者，无问多少，悉斩之；又令二三百人复进，还如向法。将士股栗，有必死之心，由是战无不堪，称为名将。素时贵幸，言无不从，其从素行者，微功必录，至他将虽有大功，多为文吏所谴却，故素虽残暴，士亦以此愿从焉。
成安文子李德林，恃其才望，论议好胜，同列多疾之；由是以佐命无功，十年不徙级。德林数与苏威贰言，高飃常助势，奏德林狠戾，上多从威议。上赐德林庄店，使自择之，德林请逆人高阿那肱卫国县市店，上许之。及幸晋阳，店人诉称高氏强夺民田，于内造店赁之。苏威因奏德林诬罔。妄奏自入，司农卿李圆通等复助之曰：“此店收利如食千户，请计日追赃。”上自是益恶之。虞庆则等奉使关东巡省，还，皆奏称“乡正专理辞讼，党与爱憎，公行货贿，不便于民。”上令废之。德林曰：“兹事臣本觉得不成，然置来始尔，复即停废，政令不一，朝成暮毁，深非帝王设法之义。臣望陛下自今群臣于律令辄欲改张，即以军法处置；不然者，纷繁未已。”上遂发怒，大诟云：“尔欲以我为王莽邪！”先是，德林称父为太尉咨议以取赠官，给事黄门侍郎猗氏陈茂等密奏：“德林父终究校书，妄称咨议。”上甚衔之。至是，上因数之曰：“公为内史，典朕奥妙，比不成豫计议者，以公不弘耳，宁自知乎！又罔冒取店，妄加父官，朕实忿之，而未能发，今当以一州相遣耳。”因出为湖州刺史。德林拜谢曰：“臣不敢复望内史令，请但预散参。”上不准，迁怀州刺史而卒。
冬，十一月，辛丑，上祀南郊。
素又破沈孝彻于温州，步道向露台，指临海，逐捕遗逸，前后百馀战，高聪明走保闽、越。上以素久劳于外，令驰传入朝。素以馀贼未殄，恐为后患，复请行，遂乘传至会稽。王国庆自以海路艰阻，非北人所习，不设备；素泛海奄至，国庆遑遽弃州走。馀党散入海岛，或守溪洞，素分遣诸将，水陆追捕。密令人说国庆，使斩送聪明以自赎；国庆乃执送聪明，斩于泉州，馀党悉降。江南大定。