后来还把前太子杨昭身边二万多人都划归给杨暕，或许是为了考验这个儿子又或许是其他原因，杨广虽然对于这个儿子的恩宠已经无以伦比的，但是就是没有明确立他为太子。杨暕的独特地位以及他所受到的恩宠使得皇室宗亲朝阳百官争相巴结他，以致阻塞了杨暕门前的道路。
这杨暕久而久之便也就沉溺在这种满是献媚的世界里，相对以前变得骄纵，亲近的人也都是那些献媚邀功的小人，而做的事也大多不合法规了。后来过分的是杨暕常派下属乔令则、刘虔安、裴该、皇甫谌、库狄仲奇、陈智伟等人为自己寻求声色狗马，乔令则等人就借杨暕的旗号在外恣意**。仲钅奇、智伟两人到陇西，向胡人抢取食物，勒索名马，得数匹马进献给杨暕，杨暕命他们送还主人，仲钅奇等人对外却谎称是杨暕的赐品，将马归为己有，杨暕却不知真实情况。这些自己有意无意的行为再加上下面人的阴奉阳违使得杨暕的名声在朝野不是很好，也引起了杨广对他的注意。
但是按照《隋书》的记载，杨暕失去皇位的继承权并不是自己的人品什么的，而是他的一些行为惹怒了父皇杨广。《隋书》记载：乐平公主（杨丽华）尝奏帝，言柳氏女美者，帝未有所答。久之，主复以柳氏进于暕，暕习纳之。其后帝问主柳氏女所在，主曰：”在齐王所。“帝不悦。暕于东都营第，大门无故而崩，听事栿中折，识者以为不祥。其后从帝幸榆林，暕督后军步骑五万，恒与帝相去数十里而舍。会帝于汾阳宫大猎，诏暕以千骑入围。暕大获麋鹿以献，而帝未有得也，乃怒从官，皆言为暕左右所遏，兽不得前。帝于是发怒，求暕罪失。
时制县令无故不得出境，有伊阙令皇甫诩幸于暕，违禁将之汾阳宫。又京兆人达奚通有妾王氏善歌，贵游宴聚，多或要致，于是展转亦出入王家。御史韦德裕希旨劾暕，帝令甲士千馀大索暕第，因穷治其事。暕妃韦氏者，民部尚书冲之女也，早卒，暕遂与妃姊元氏妇通，遂产一女，外人皆不得知。阴引乔令则于第内酣宴，令则称庆，脱暕帽以为欢乐。召相工令遍视**，相工指妃姊曰：“此产子者当为皇后。王贵不可言。”时国无储副，暕自谓次当得立。又以元德太子有三子，内常不安，阴挟左道，为厌胜之事。至是，事皆发，帝大怒，斩令则等数人，妃姊赐死，暕府僚皆斥之边远。时赵王杲犹在孩孺，帝谓侍臣曰：“朕唯有暕一子，不然者，当肆诸市朝，以明国宪也。”暕自是恩宠日衰，虽为京尹，不复关预时政。
按
（本章未完，请点击下一页继续阅读）