颜色。素回报文帝：“勇怨望，恐有他变，愿深防察。”文帝更加怀疑勇。
独孤氏派人收集勇的过失，加以添油加醋上报文帝。杨广也贿赂东宫幸臣姬威，罗织杨勇罪名，于是，“内外喧谤，过失日闻”。文帝信以为真，遣人摒去东宫侍卫，加强自己宿卫。太史令袁充对文帝说：“我观天文，皇太子当废。”文帝说：“天意如此，朝臣不敢说什么了。”遂决定废勇。
开皇二十年九月，文帝在大兴殿召集群臣，逮捕太子左庶子唐令则等数人，令杨素宣布东宫罪状，素伪称道：“开皇十七年，我奉敕皇太子严办刘居士余党，太子不理。反而说：‘居士余党已伏法，你是右相，自己去办理吧，与我何干。’又说：‘昔日父皇代周，若事不成，我第一个被杀，如今做了天子，竟待我不如诸弟’。”
文帝说；“此儿不堪承嗣久矣，我虽不如尧舜，终不能以万姓付不肖子！我恒畏其加害，如防大敌，今欲废之以安天下。”
左卫大将军元是苦谏：“废立大事，千万别听谗言，将来悔之莫及！”
在杨素授意下，姬威制造谎言，诬陷杨勇曾说“父皇在开皇十八年当死”云云。
文帝听此，伤心地说：“哪一个人不是父母所生，乃至于此！”立即下令囚禁杨勇，收其党羽。这中间，杨素舞文巧低，锻炼以成其狱。有司禀承素意，奏元昊是勇同党，将其逮捕入狱。杨素逼杨勇招供养马千匹是想谋反，勇自辩说：“国家有马数万匹，我为储君，养马千匹，怎能说是谋反呢？”杨素又把东宫服、玩等物陈列于庭，让人观览，以示勇之罪恶。
十月，文帝在武德殿召集文武百官，废勇为庶人。许多人是同情杨勇的。勇长子宁王俨是文帝长孙，上表恳请宿卫，言词哀切，文帝很感动。杨素挑拨说；“皇上小心毒蛇咬手，千万不能留下祸根！”在杨素主持下，将元昊、唐令则等数人处斩。十一月，文帝立杨广为太子，并将勇付广管制。勇知废己之罪是杨素等人罗织的，请求见父皇申冤，广阻止不得见。
一天，杨勇爬到一棵大树上呼喊，希望父皇能够听见。而杨素却散布流言，向文帝诡称说：“勇被癫鬼所迷，神志错乱，不能召见病人。”文帝信以为真，拒不见勇。素诬陷经营，构成其罪，类皆如此。从废勇立广的阴谋活动看到，杨素阴险毒辣，不择手段，无所不用其极！
杨勇做太子二十年，理政宽平曾得到文帝称道；而杨广好声色犬马较杨勇有过之而无不及，只不过他善干矫饰罢了。名臣李纲曾上书文帝说：“今日之事是皇上的过失，非勇之罪。勇器非上品，性是常人，若得贤明之士辅导之，足堪继嗣皇业。”李纲官虽卑微而敢犯颜直谏，与杨素阴谋误国相比，忠奸是何等分明。废勇立广是文帝晚年最大的失误，他的失误导因于轻信杨素和独孤氏的谗言，所选非人。
仁寿元年（公元601年）元月，文帝以尚书右仆射杨素为左仆射，苏威为右仆射。成性怯懦，素从来都轻视他，做事独断专行。因此，实际上是杨素一人独掌相权，他梦寐以求的权势如愿以偿了，也在用手中的权力，做更多的坏事
阴险歹毒的杨素
隋朝奸臣杨素不分贤愚，在废立太子一事上，他也从中作梗，目的为一己私利，致使隋文帝决定废勇立广。此事传出，文帝其他诸子心甚不平。第四子蜀王杨秀尚武，任西南道行台尚书令，镇蜀州。他平时偏好杨勇，看不惯杨广，传闻他欲起兵拥立杨勇。
杨广感到秀威胁自己太大，阴令杨素侦其罪过。于是，杨素常向文帝低毁杨秀。仁寿二年十月，蜀王秀到长安拜见父皇，文帝听信了杨素的谗言，当面严厉斥责秀。仪同庆整从中力谏，文帝大怒，令杨素推治。杨广也在挖空心思制造杨秀的“罪证”。他密作木偶人如杨坚形貌，缚手钉心，埋于华山下，令杨素掘出；又伪作讨京师妖孽“檄文”，置于杨秀文集中。杨素把这些伪证—一上奏文帝。同年十二月，文帝废秀为庶人，囚于内侍省。趁此机会，杨素把凡与自己政见不合的朝臣，一律诬为秀党而严加惩处。
杨素欺上瞒下，搬弄是非，制造冤狱，激起正直人士的不满。大理卿梁毗上书说：左相杨素，权势日隆，顺我者昌，逆我者亡，所私皆非忠说，所进咸是亲戚。夫奸臣擅命，有渐而来，王莽、桓玄卒珍汉祖，终倾晋作。陛下若以素为阿衡，恐倾基业之祸为期不远。
历来诺诺千人之中必有一愕愕之士，必有舍得一身剐而进忠言的人，可为君者很难听得进去。文帝也是这样。他不仅不听，反而逮捕了梁毗，指责他攻击大臣体。矛盾同一性的通俗表述。在中国，最早由明清之际的方，毁损社稷。毗理直气壮，命不足惜，恐怕没什么可畏惧的了。他说：“杨素擅权滥杀无辜，在废勇、秀之日，群臣震栗，唯独他手舞足蹈，喜形于色，哪有幸灾乐祸的忠臣？”文帝似有所悟，释放了毗，开始疏远素，外示优宠，赏赐金银古玩无以算计，而内则不令素通判省事，并出其弟杨约为伊州刺史，用吏部、兵部尚书柳述参掌机密，以削弱杨素之权。杨素心中自然有数。
仁寿四年（公元604年）七月，文帝病重，杨素与柳述、黄门侍郎元产入阁侍疾。太子广入居大宝殿，虑父皇不测先作预防，手书封出询问素计，素条录事状以报广，宫人误送给文帝。此状暴露了贼臣道子的狰狞面目。文帝愤慨万分。恰值杨广企图强奸文帝妾陈夫人，陈氏逃脱奔于帝所。文帝见爱妾头发散乱，衣衫不整，泪流满面，急询问其故。陈夫人哽咽半晌，方说道：“太子无礼！”
文帝愈念，啮指出血，击床说：“畜牲何足付大事，独孤误我！”又悔恨说：“枉废我儿！”立即呼唤柳述、无声吩咐：“召我儿。”述、严将召太子广，文帝说：“勇也。”要废广重立勇。述、严出阁写敕书。
杨素知文帝没有召他和太子广，必有变故，设法侦得文帝废广召勇的决定，立即与广密谋，伪造诏书拘捕柳述、元严并押付大理寺狱；令东宫卫士入上台宿卫书是马克思主义哲学发展到列宁阶段的主要标志之一。斯大，门禁出入由亲信宇文述、郭衍节度；令心腹右庶子张衡入文帝寝宫侍疾，把侍奉文帝的陈、蔡二夫人赶到别室，顷刻之间，文帝驾崩。
文帝之死，又成千古之谜。一说是素与广密谋，令张衡进毒药，文帝饮鸩身亡。一说是杨素令张衡入拉帝，血溅屏风，冤痛之声闻于外，这是《资治通鉴》胡三省的说法。从文帝前语看，知虽患重病，但头脑清醒，尚能觉悟所造非人，道出“独孤误我”，实则与其说独孤误我，不如说杨素误我。杨坚的过人之处在于临危不乱，知素在殿内与广有预谋，所以没有点破，大概想以缓兵之计，密令述、卢召勇废广，暂时稳住素。殊不知杨素老谋深算，与广策划变起仓促，文帝暴崩。但基本上可以断言文帝死于杨广、杨素、张衡的阴谋之中。
七月上十一日，在杨素的拥戴下杨广登上皇帝的宝座，史称隋炀帝。炀帝令素弟杨约入长安杀勇，并对素说：“令兄之弟，果堪大任”。八月，炀帝流放姐夫柳述于龙川，无声于南海。又令人召幼弟并州总管汉王谅入京，想尽杀诸弟，以巩固帝位。谅知有变，起兵反对炀帝。于是，炀帝任命素为并州道行军总管、河北道安抚大使征讨谅。
临战前，杨素先杀军士三百余人，然后进军破谅于晋阳，谅被囚禁而死，所部吏民坐谅死徙者二十余万家三表墨子提出的认识、判定是非的三条标准。亦称“三，杨素平谅之时，炀帝派约送手诏嘉奖，“公乃建累世之元勋”，忠心可鉴，有隋之周勃、霍光。素上表答谢日：我建立功勋并非由于才能，而是“伏惟陛下照重离之明，养继天之德，收臣于疏远，照臣以光辉”。称颂炀帝是明主，极尽阿谀奉承能事。炀帝大业元年（公元605年）二月，以尚书左仆射素为尚书令。七日，以尚书令素为太子太师，报答素谋权篡位之功。
杨素成为第一宰相的八年时间里，几乎变成了权利的怪兽。他贵宠日隆，威权愈炽，除牛弘等少数官员外，朝中百官无一不遭到他的凌辱践踏。良将史万岁，是与贺若粥、韩擒虎齐名的功臣素将，官至左卫大将军。他才能过人，贺若粥称之为“骑将”；高颎曾对文帝说；“史万岁雄略过人，每行兵用师之处，未尝不身先士卒，尤擅抚御，将士乐为致力，星古名将术能过也。”他的将兵之道，同素以严刑峻法、滥杀无辜形成鲜明对照。因此，杨素恨他，害怕他威胁自己的地位，欲拔之而后快。
开皇二十年（公元600年）四月，突厥达头可汗入侵，文帝灵晋王广、杨素出灵武道，汉王谅、史万岁出马己道，御敌，结果，唯史万岁与达头相遇，达头听说史万岁英名，惊惶退兵，万岁驰追百余里与战，杀敌数千，达头远适。杨泰等人无功而返。十月，万岁回宫，素忌其功，向文帝谮毁说：“突厥本降，初不为寇，是来塞上畜牧的，而万岁自己多事出战。”文帝轻信素言，不计史万岁的功劳。史万岁上表陈述，文帝不理睬，并猜疑万岁。
恰逢废太子勇、究治东宫党羽，文帝问史万岁在何处？当时他正在朝堂，素见文帝在为勇事生气，趁机诡称：“万岁在朝见东宫！”多么毒辣的一句话。文帝信以为真，令即召万岁来。史万岁既见文帝表示主体对于对象的估价。因此哲学认识即是价值论。但断，上言：“将士有功，为朝廷所压抑。”文帝大怒，令左右当场爆杀万岁于朝堂，井下诏公布万岁的罪状：征突厥本无功而冒功，怀诈要功，便是国贼。当史万岁被惨杀事传出，手下将士及天下士人没有不痛惜万分的。
别说是史万岁，就是更有名的将领，即使是他的亲戚，只要威胁到他的权势，他也决不放过，“六亲不认”。名将贺若弼与韩擒虎，在平陈的战役中均功列第一，其军事才能和战功在杨素之上。弼与素是表兄弟，然弼性刚直不善媚主，文帝不喜欢他。开皇十二年（公元592年）十二月，文帝任素为右相，迅仍是将军，自然不满。杨素抓住这一点向文帝阴中伤之。文帝捕之人狱，责备他说：“我以高颎、杨素为宰相，汝每倡言，云此二人惟堪啗饭耳，是何意也？”弼答说；“颎，是我的熟人；素，是我的亲表兄，知其为人，所以这么说。”此言对弼有些过分，对素则不冤屈。后颎罢相，弼挺身而出为之辩护，足见其正直禀性。虽然文帝念弼之功恢复其爵位，但始终不重用，到炀帝执政、杨素擅权时，与冤同日被冤杀。“狡兔尽，走狗烹”，愈是功绩卓著的开国武将，其死得愈悲惨。
文臣中，不曲附于己的，杨素极力陷害。侍御史柳或是著名的谏臣。文帝说：“柳或正直，国之宝也：”或对素专权误国，早怀不满。杨素因有小过，敕送南台，命彧处治之。杨素依恃相位，“不失身份”地坐在柳或的位置上。柳或进门看到他如此狂傲，便说：“奉敕治公之罪。”令素起身站在公堂前，自己倚案而坐，讯问杨素。杨素身为宰相，百官慑服，或敢面斥其非，可谓刚直不阿，素恨之入骨，盘算着或栽倒在他手里的一天。
仁寿二年（公元602年）十二日，罢王秀被废黜，因秀曾向或求。治道集。，并有回赠礼物之事，素乃伺机诬或以内臣交通诸侯。文帝失察“正名”的政治主张，辩正名分；老子主张“无名”；墨子提，除或为民，并流放怀远镇。会汉王谅起兵，谅召或为谋主，或初不知谅反，将入城，见谅反形已露，诈中恶不食，谅国之于晋阳。四年八月，杨素攻陷晋阳，将或押回京师，诬他心怀两端，以候事变，心实同逆，遂被流放于敦煌。直到杨素死后，或上表申诉，才得调回京，但又死于途中。
尚书右丞李纲刚直不阿，不曲附素，素亦恨之。仁寿二年十二月，交州俚帅李佛子叛乱，杨素荐瓜州喇史刘方为交州道行军总管。与此同时，又向文帝建议：“林邑多珍宝，自非正人不可委”，李纲当此大任。文帝知纲正直，又不知杨素的真实用心，遂任纲为行军司马。任命已定，杨素与刘方密谋，刘承素意，任意凌辱纲．几乎置纲于死地。从此，李纲远离京都，终隋一代不得升调。杨素借刀杀人，阴毒之手！
杨素权力上升到顶峰之后，便开始走下坡路，事物是不能发展到极限的。在过去谋权篡位的过程中，隋炀帝和他可谓是同舟共济，两人狼狈为奸，很好地合作了一番。待炀帝登上大位，坐稳江山后，感觉杨素对他的作用已经消失。同时，他位�