会上令选东宫卫士以入下台，飃奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我偶然出入，宿卫须得勇毅。太子毓德东宫，摆布何必懦夫！此极弊法。如我意者，恒于交番之日，分向东宫，高低团伍不别，难道佳事！我熟见前代，公不须仍踵旧风。”飃子表仁，娶太后代，故上以此言防之。
又令上柱国赵仲卿屯兵二万为启民防达头，代州总管韩洪等将步骑一万镇恒安。达头骑十万来寇，韩洪军大败，仲卿自乐宁镇邀击，斩首虏千馀级。
突厥突利可汗因长孙晟奏言都蓝可汗作攻具，欲攻大同城。诏以汉王谅为元帅，尚书左仆射高飃出朔州道，右仆射杨素出灵州道，上柱国燕荣出幽州道以击都蓝，皆取汉王节度；然汉王竟不临戎。
伐辽之役，飃固谏，不从，及师无功，后言于上曰：“飃初不欲行，陛下强遣之，妾固知其无功矣！”又，上以汉王幼年，专委军事于飃，飃以任寄昌大，每怀至公，无自疑之意，谅所言多不消。谅甚衔之，及还，泣言于后曰：“儿幸免高飃所杀。”上闻之，弥不平。
飃初为仆射，其母戒之曰：“汝繁华已极，但有一斫头耳，尔其慎之！”飃由是常恐祸变。至是，飃欢然无恨色。先是国子祭酒元善言于上曰：“杨素细致，苏威怯懦，元胄、元飃正似鸭耳。能够付社稷者，唯独高飃。”上初然之。及飃获咎，上深责之，善恐忧而卒。
飃夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上今后言告飃。飃流涕谢曰：“臣今已老，退朝，唯斋居读佛经罢了。虽陛下垂哀之深，至于纳室，非臣所愿。”上乃止。既而飃爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复书高飃邪？始，陛下欲为飃娶，飃心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏飃。