且住到南宫去。要知道，南宫是当初景帝幽禁英宗的地方！这让世宗恼火不已。最后，严嵩之败的关键，是因为在皇帝的身边，出现了另外一个精明厉害的人物--徐阶，渐渐与严嵩争宠。据说，有一次严嵩想借大将军仇鸾之狱来陷害徐阶，却发现徐阶比他更早一步行动了--仇鸾之狱是徐阶先告发的，不由得咄咄称奇。嘉靖四十一年，道士蓝道行为世宗扶乩（ji）。沙盘上出现了一行字："贤不竞用，不肖不退耳！"世宗问谁是小人。蓝道行说："贤如徐阶、杨博，不肖如嵩。"这件事被一个在太监家避雨的御史邹应龙知道了。于是，善于投机的邹应龙就上疏攻击严嵩、严世蕃父子。同年五月，严嵩被罢免，严世蕃下狱。据当时一些人的记载，也有说这件事是徐阶一手布置的。后来，御史林润继续攻击严世蕃，想把当初杨继盛弹劾严氏父子而死的事情当作一件罪状列进去，被徐阶阻止了。徐阶知道，杨继盛之狱是世宗已经首肯的，翻杨继盛案等于指责皇帝也有过错了。于是，徐阶捏造了一个莫须有的罪名，说严世蕃结交倭寇。既然是叛国，自然死有余辜了。这样，严嵩20年的政坛经营，一朝瓦解。继严嵩而起的，是更有心术的徐阶。不过，朝政方面逐渐改变了过去严嵩当权时的悛（quān）刻之风，变得相对地宽松起来。所以，嘉靖最后的5年时间，气象略有些回复。
嘉靖四十四年（1565），皇帝病重。太医徐伟遵诏前往医治。世宗坐在小床上，龙衣拖在地上。徐伟怕踩着龙袍，远远地站住，不往前走。世宗非常奇怪。徐伟说："皇上龙袍在地上永陵，臣不敢进。"诊视完毕后，世宗给阁臣们下了一道手诏，说："徐伟刚才说'地上'，最能体现他的忠爱之情。地上，人也；地下，鬼也。"徐伟听内阁大臣一说，吓得一身冷汗。刚才若是无意中说"龙袍在地下"，恐怕自己早已先变做鬼了。这种对文字的敏感，说明世宗自知自己来日无多了。果然，嘉靖四十五年（1566）十二月十四日，世宗被众人从西苑抬回到宫城的乾清宫中，规规矩矩地龙驭宾天了。据后来以徐阶为首的一批大臣们的主张，道士王金是害死世宗的罪魁祸首。世宗是不是服用王金等人所炼的丹药而死？这个问题，到隆庆三年（1569）时便模糊了。当时的大学士高拱为了报复原首辅大学士徐阶，对穆宗说："如果要追究王金等人的罪责，就说明先皇之死是非正常死亡。先皇活了60岁，却最后留在世间一个暴死的名声，恐怕不好吧！"所以，此后对于王金等人的调查也就结束了。但是，从世宗喜欢服用丹药的特征看来，他的死，未尝不是服用丹药过量的缘故。