杨坚越说越气，随即下诏：“礼有等差，君臣不杂，爰自近代，圣教渐亏，俯仰逐情，因循成俗。皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫，事非典则，宜悉停断。”

从此，皇帝对太子有了心结。杨坚有心提防杨勇，就找了一个藉口，把杨勇的亲家翁齐国公高颎免了官。原来，高颎的第三子高表仁娶了杨勇的长女。杨坚为免高颎协助太子篡位，宁可赶走这名开国功臣。

此外，自古任何皇帝对太子都会有所忌惮，而会培植太子以外的势力予以抗衡，来预防太子急于上位。对杨坚而言，山东士族与次子杨广经营江南所得人脉，就是可以压抑太子、制衡关陇贵族的力量，有利于确保皇位稳固。因此，杨坚提拔杨广一直不遗余力，只是料想不到，杨广越做越大，不但稳住了江南，也结交了山东士族。

杨坚需要新兴的山东士族来帮他压制关陇贵族，以提高皇权。于是，起初只是用来牵制杨勇的杨广，逐渐变成了杨坚最倚重的儿子。当杨广在朝野所获的支持超越了杨勇，杨坚即使并不想换太子，也必须加以考虑，更何况，他对杨勇已有不满。除了冬至越礼事件令杨坚耿耿于怀以外，崇尚节俭的杨坚也经常为了杨勇喜爱奢华物品而不悦。

有一天，杨勇穿上了一件新铠甲，不但是来自蜀地的上好质料所缝制，而且刻缕着精美的花纹。杨坚看了，唯恐杨勇越来越奢侈浪费，就把杨勇教训了一顿，甚至夸大其辞说道：“你身为储君，若不上称天心，下不合人意，何以承宗庙之重，居兆民之上？”

相对而言，杨广了解父皇主张节约，在父皇面前，绝对穿着最朴素的衣服。每当父皇、母后驾临杨广的晋王府，杨广也必定在事前做好准备，给父皇、母后看到的都是廉价布料制成的屏风、帐幕，还有断了弦也不修的乐器。

此外，杨广也懂得拉拢父皇信任的朝臣，尤其是越国公杨素。杨广透过亲家翁宇文述与杨素之弟杨约的交情，赢得了杨素的支持。

杨坚不知杨素与杨广有私交，指派杨素考察太子的行为。杨素不断毁谤杨勇，使得杨坚越来越猜忌杨勇，而把东宫侍卫都换成了老弱兵卒，凡是健壮的侍卫都调到了皇宫这边来服务。

杨勇发觉不妙，听说有个名叫王辅贤的术士能占卜吉凶，就召来请教。结果，王辅贤论断道：“有白虹贯穿东宫前门，又有太白星偷袭月亮，都是显示皇太子将会退废的天象。”他建议用铜铁制造傀儡兵卒，又在后院之内加盖一个简陋的庶人村，让太子常常睡在其中，使用布衣草褥，藉以消灾挡祸。

心思单纯的杨勇意料不到，这一切努力都是徒劳，因为杨广已经买通了他身边的侍臣姬威。任何外人的谗言，都比不上家仆的告发那样令人不得不信。

姬威贪图富贵，不惜出卖主子。他在皇帝问话时，依照事先拟好的谎言说道：“太子爷平常闲聊，说过以前汉武帝要兴筑上林苑，被东方朔谏阻，还赐东方朔黄金百斤，未免有些可笑，并说他才没有黄金赐给这种人。倘若有人进谏，正好斩杀，只要杀一百多人，谏言自然永远停止了。太子爷还说，仆射以下的，他会杀戮一两人，使大臣都知道轻慢他会招致杀身之祸。”

既然杨坚一向嫌杨勇奢侈，对这番话难免容易信以为真，就认为杨勇会是个杀谏臣的昏君。

姬威取得了杨坚的信任，又挑拨离间说道：“太子爷常常抱怨皇上怪他庶子多。他说高纬、陈叔宝那些亡国之君又不是庶子！庶子多又有何妨？”

杨坚一听，心想原来这个逆子竟敢对父皇心怀怨怼！他未免更加不痛快了。