客说此话时，李三郎也反应了过来，他的提议确是有些唐突，本来出自好意，让李客误会了可就不好了，于是连忙说到：“李都尉千万别误会，吾没有他意，吾只是觉得她二人有人照顾可能会更好一些，若是李都尉要带走她二人，随时带走便是。”
武三思曾经的行径，不免令李客后怕，所以即使李三郎如此一说，李客还是没有丝毫犹豫，紧接着说到：“在下的妻儿出生卑微，在这东宫之内想必也是不习惯，吾还是把她二人带走吧。”
李客的话都说到这个份上，李三郎也不好再多说什么，若是再多言相劝，必定会心生嫌隙，于是说到：“那就请李都尉自便，龙安司还请李都尉即可前往妥善安排。”
李客当即答到：“喏！”便不再多言，转身准备离开大厅。
太子突然开口道：“李都尉，且慢！”
难不成李三郎松了口，太子又要相胁？李客突然提高了警惕，手不自觉地在握到了剑柄上，但很快冷静下来，转身拱手答到：“请问太子殿下还有何事？”李客这一系列的举动自是看在了李三郎的眼中，他心中暗自吸了一口凉气，还好李客控制住了自己，没有发生什么；但此刻太子到底要说什么？难不成也要挽留？那定会造成更深的误会，李三郎一边想着开解之词，一边有些焦虑地望向太子。
只见太子满脸堆笑地说到：“李都尉，汝今夜要带走妻儿，自有汝的原因，本宫也不便强留，但本宫有一事，还望李都尉答应。”
原来太子不是为了强留李客妻儿，这倒是令李客和李三郎瞬间绷紧的神经放松了下来，李客答到：“敢问太子殿下是何事？只要是在下能办到的，定当全力而为。”
太子继续笑着说到：“汝的儿子小太白，天资实在聪慧，年方四岁居然已能出口成章，他日必成大器，本宫喜欢得紧，日后多带他来东宫与本宫相聚，明日诗文比试，本宫料想他也定会喜欢，请务必带他一同前往。”
太子所提的这个要求令李客一时摸不着头脑，刚才的李三郎和现在的太子，他二人到底是真心出自好意，还是故意试探，他确实不得而知，不过为了安全起见，李客还是推辞道：“明日朝廷大事，是否会有不便？还望太子殿下再行考虑。”
太子一挥手，说到：“李都尉多虑了，没有什么不便的，就依本宫之意，照此决定，汝二人还有事就速去办吧。”太子都说到了这个份上，李客也不好推辞，只好应下，于是带着妻儿与裴旻一同离开了东宫。
半路上，裴旻三人回了茅屋，而李客独自前往了龙安司，准备和陈玄礼、张九龄一道商议如何找寻陈无忌和赤发阎罗。
望着李客离开东宫的身影，李三郎心中不免感叹到李客此人确实与一般人不同、甚难驾驭；不过，此刻他也没时间再多想此事，连忙和太子、张柬之一同进了密室，会见来访之人。