高表仁一看父亲免官在家，便安慰道：“以前司马仲达以生病为借口不上朝，结果夺得了天下。你现在遇到了这种情形，怎么知道不是好事呢？”皇上听闻后大怒，把高颎圈禁起来，交由内史省官吏审核他的罪状。内史令很快查出高颎去年接见过一个和尚和一个尼姑。和尚真觉道：“明年国家将有大丧。”尼姑令晖道：“开皇十七年、十八年皇帝都有大灾难，十九年的灾难皇帝过不去了。”内司令便将这些话告诉了杨坚。杨坚听后愤怒道：“帝王之位是自己能够争来的吗？孔子具有大圣人的才能，制定法规延绵后代，难道他不想称帝吗？天命不允许罢了。高颎同自己儿子说话，把自己比成晋国的开国皇帝，这是什么用心？”内史令道：“请求陛下下旨处死高颎。”杨坚道：“去年杀了虞庆则，今年杀了王世积。如果再杀高颎，天下人会怎么说我呢？”于是革去高颎的爵位，贬为庶民。
高颎初任宰相时，他母亲对他说：“你的富贵已经达到极致了，将来只怕会有砍头的罪责。你一定要小心行事。”高颎听后心里非常担忧，会发生这个灾难，所以非常小心谨慎。现在自己的罪责要被杀头，侥幸皇上仁慈，贬为庶民，高颎认为他这是应劫了。他心中非常欢喜，对自己被贬为庶民，并不感到遗憾，也没有怨恨；倒是有时间跟爱妾康彩荷，你侬我侬，搞得身体都虚了。
话说太子杨勇彻底慌了，没想到自己的大靠山高宰相也倒了，他现在真的是无所依靠啦，攻击他的人越来越多。他听说新丰人高甫贤能占卜星象，便招来询问。高甫贤道：“白虹穿过东宫门，太白侵犯月亮，是皇太子将要被废的征兆。”太子听后大惊，问道：“那该如何是好？”高甫贤道：“太子莫慌，我现在就用铜钱制作出五种兵器，镇压住太子之位。”说完他便拿出铜钱，将它们摆成五种兵器的形状，用红绳捆绑固定，然后念咒开光，镇压在太子府门前的石狮子下。
太子问道：“这就能躲过这次灾劫吗？”高甫贤道：“太子，你应该建一个替你应劫的庶人村。”太子闻言，便按他的吩咐在后院建起庶人村。房屋低矮简陋，太子时常住在里面，穿布衣睡草席，佯装成庶人的模样，就当自己已经被废为庶人了，以此应劫。
并不是高颎或者太子杨勇过于痴傻，而是他们的灵魂无所寄托，活的太过迷茫，只能通过这些来安慰自己。