别的事情上，萧衍不愿意得罪萧宝卷，他这样厉害的角色。他要跟他争抢潘玉儿，逼他无奈弃宫而走，就是永远“得罪”了他，最深地得罪他。为了潘玉儿，萧衍才不管对方是谁，哪怕是玉皇大帝，都要与他理论、竞争，直到把她据为己有为止，否则绝不放弃。
这哪只是一时的不舒坦，还不知道要在无极宫外守候多久，萧宝卷和潘玉儿什么时候回来，是一个月、一年，还是十年、一百年、一千年？都是未知数。这就需要萧衍和鬼差们留在无极宫外围无限期延长下去，远不仅仅只是一时。
萧衍仍然把他的行营驻扎在无极宫外。于是，经过短暂休整以后的鬼差，开始为他建造他在无极宫外的住所，也是他临时的办公处、阎王殿阁，当然讲究不到哪去，但是也不能过于简陋，还是会精心打造得比较好，能够看上去还不错，住得舒适些。
走走停停，萧宝卷带潘玉儿住到临近蓬莱群岛海域的一个渔村，和村子中从外表看房子最好的人家借住一间民房要住下。
小渔村居住条件相当差，房屋破旧。潘玉儿满脸不高兴，坐都不愿意坐下，一看就十分嫌弃。萧宝卷带她出来看大海散散心。
走在海边，潘玉儿忍不住要责备萧宝卷，“你干吗带我来这种地方，你觉得这好玩吗？小村子破破烂烂脏兮兮的，我们怎么住？我原来就住在海岛上，住了很长很长时间，四面都是海水，双眼所及，除了海天相接处，还是海天相接处，难道还没有看够啊？”
潘玉儿裹紧身上的衣服，空气湿漉漉的，海风吹扬起她的衣服，她觉得更凉。她一刻也不愿意再继续停留。
萧宝卷向高天一扬手，就飞下来一件比较厚的披风，他穿到潘玉儿的身上，为她系好每个带子，又抱抱她，“你不喜欢住在渔村是不是？我们去蓬莱岛神那借宿怎么样？他的地方虽然也不怎么样，总之还干净，收拾得也归整，整体用料和精细处做工不将就，要比小渔村的住宿条件好得多。”