杨秀心想：“这刚给母后办完丧事，不知道父皇将自己召回宫，所为何事？”杨秀进宫了，杨坚却将他晾在那里，第一天根本不理睬他。第二日派谏官去指责杨秀，在蜀地为王，却整日胡作非为。第三日杨坚当着文武百官的面说道：“以前朕管秦王杨俊，是用父亲管儿子的方法管他。但是你残害百姓，奢侈腐化，朕现在要以管大臣的方法管你。”百官一听这话，马上就有人急了。皇上以前用管儿子的方法管秦王，秦王被管死了。如今却要用更严厉的方法管蜀王，蜀王还能够活命吗？
大臣庆整站了出来，说道：“陛下，你的儿子本来就不多。你的大儿子杨勇已经废了，三儿子杨俊已经死了。蜀王是个性情刚强的人，你如此严厉管教他，他恐怕难以自我保全。”杨坚怒道：“庆整，你是在指责朕教子无方吗？说朕一个个儿子都不成器吗？”庆整道：“陛下，为臣不敢。为臣只是实事说事。”杨坚压了压心头的怒火，说道：“你无需再为这个逆子求情。来人，现在就将杨秀押入大理寺大牢。杨素你去查明他的罪状。”杨秀被拖走了，他口内喊道：“父皇，我冤枉，我是被冤枉的。”
杨秀的案子交到杨素手里，等于是将羊送入虎口。杨素和太子杨广一合计，就由太子安排人制造假证据，他再将假证据搜出来，交由皇上查看。
杨广先是派人制造两个小木偶，一个做成皇上的样子，一个做成汉王的样子，然后用铁钉将他们的心脏钉穿，在木偶背后写上杨坚和杨谅的名字，写上咒语，埋在华山之下。然后又让人伪造一篇檄文，塞到杨秀蜀王府内收藏的文集中，檄文说他即将带兵入宫，清君侧灭奸臣。
杨坚看到这两样罪证大怒，骂道：“逆子，真是大逆不道。不但想要害朕性命，连朕最亲近的小儿子也要害。朕这个皇上做的好好的，还需要你带兵入宫，清君侧灭奸臣；你分明想造反，要谋朝篡位。来人，将杨秀削爵为民，将他和他的七子一同关押在内史省，终身圈禁。”
杨坚五个儿子从此废掉了三个，只剩两个儿子了。他内心悲痛伤感，更加思念已经逝世的独孤皇后。为了缓解心中的伤痛，他更加沉浸在妃子陈氏和蔡氏的温柔乡中。太子杨广见父皇沉迷美色，心中十分高兴。他心想：“现在自己的对手只剩下五弟杨谅了。将杨谅也废了，就可以安心等着父皇驾崩，自己登基了。”真是应了曹植那首《七步诗》：“煮豆持作羹，漉菽以为汁。
萁在釜下燃，豆在釜中泣。
本是同根生，相煎何太急？”