孤后性妨忌，后宫莫敢进御。尉迟迥女孙，有美色，先没宫中。上于仁寿宫见而悦之，因得幸。后伺上听朝，阴杀之。上由是大怒，单骑从苑中出，不由径路，入山谷间二十馀里。高颎、杨素等追及上，扣马苦谏。上太息曰：“吾贵为天子，不得自由！”高颎曰：“陛下岂以一妇人而轻天下！”上意少解，驻马良久，中夜方还宫。后俟上于阁内，及至，后流涕拜谢，颎、素等和解之，因置酒极欢。先是后以高颎父之家客，甚见亲礼，至是，闻颎谓己为一妇人，遂衔之。
时太子勇失爱于上，潜有废立之志，从容谓颎曰：“有神告晋王妃，言王必有天下，若之何？”颎长跪曰：“长幼有序，其可废乎！”上默然而止。独孤后知颎不可夺，阴欲去之。
会上令选东宫卫士以入上台，颎奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我有时出入，宿卫须得勇毅。太子毓德东宫，左右何须壮士！此极弊法。如我意者，恒于交番之日，分向东宫，上下团伍不别，岂非佳事！我熟见前代，公不须仍踵旧风。”颎子表仁，娶太子女，故上以此言防之。
颎夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上以后言告颎。颎流涕谢曰：“臣今已老，退朝，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”上乃止。既而颎爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复信高颎邪？始，陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏颎。
伐辽之役，颎固谏，不从，及师无功，后言于上曰：“颎初不欲行，陛下强遣之，妾固知其无功矣！”又，上以汉王年少，专委军事于颎，颎以任寄隆重，每怀至公，无自疑之意，谅所言多不用。谅甚衔之，及还，泣言于后曰：“儿幸免高颎所杀。”上闻之，弥不平。
及击突厥，出白道，进图入碛，遣使请兵，近臣缘此言颎欲反。上未有所答，颎已破突厥而还。及王世积诛，推核之际，有宫禁中事，云于颎处得之，上大惊。有司又奏“颎及左右卫大将军元旻、元胄，并与世积交通，受其名马之赠。”旻、胄坐免官。上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等明颎无罪，上愈怒，皆以属吏，自是朝臣无敢言者。秋，八月，癸卯，颎坐免上柱国、左仆射，以齐公就第。
未几，上幸秦王俊第，召颎侍宴。颎歔欷悲不自胜，独孤后亦对之泣。上谓颎曰：“朕不负公，公自负也。”因谓侍臣曰：“我于高颎，胜于儿子，虽或不见，常似目前。自其解落，瞑然
