及诸方都会处，邸店、碾硙、便利田宅，不可胜数；家僮数千，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳彧及尚书右丞李纲、大理卿梁毘而已。
始，毘为西宁州刺史，凡十一年，蛮夷酋长皆以金多者为豪隽，递相攻夺，略无宁岁，毘患之。后因诸酋长相帅以金遗毘，毘置金坐侧，对之恸哭，而谓之曰：“此物饥不可食，寒不可衣，汝等以此相灭，不可胜数，今将此来，欲杀我邪！”一无所纳。于是蛮夷感悟，遂不相攻击。上闻而善之，征为大理卿，处法平允。
毘见杨素专权，恐为国患，乃上封事曰：“臣闻臣无有作威作福，其害于而家，凶于而国。窃见左仆射越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤旨者严霜夏零，阿旨者甘雨冬澍；荣枯由其脣吻，废兴候其指麾；所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海有虞，必为祸始。夫奸臣擅命，有渐而来，王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为处置，俾洪基永固，率土幸甚！”书奏，上大怒，收毘系狱，亲诘之。毘极言“素擅宠弄权，将领之处，杀戮无道。又太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”上无以屈，乃释之。
其后上亦浸疏忌素，乃下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”外示优崇，实夺之权也。素由是终仁寿之末，不复通判省事。出杨约为伊州刺史。
素既被疏，吏部尚书柳述益用事，摄兵部尚书，参掌机密；素由是恶之。
太子问于贺若弼曰：“杨素、韩擒虎、史万岁皆称良将，其优劣何如？”弼曰：“杨素猛将，非谋将；韩擒虎斗将，非领将；史万岁骑将，非大将。”太子曰：“然则大将谁也？”弼拜曰：“唯殿下所择！”弼意自许也。
交州俚帅李佛子作乱，据越王故城，遣其兄子大权据龙编城，其别帅李普鼎据乌延城。杨素荐瓜州刺史长安刘方有将帅之略，诏以方为交州道行军总管，统二十七营而进。方军令严肃，有犯必斩；然仁爱士卒，有疾病者亲临抚亲，士卒亦以此怀之。至都隆岭，遇贼，击破之。进军临佛子营，先谕以祸福。佛子惧，请降，送之长安。
高祖文皇帝中仁寿三年（癸亥，公元六零三年）
秋，八月，壬申，赐幽
