光要剥夺非法奴隶，同时还要交税重罚，等于鸡飞蛋打，只剩一地鸡毛。
杜有光当即瘫倒在地，欲哭无泪，他当即去找县令王宁，但县令王宁却以身体不适，不肯见他。
不过王宁最终碍不过面子，派自己的幕僚王秀昂去见了杜有光。
内堂上，王秀昂对垂头丧气的杜有光缓缓道：“县君让我转告你，赶紧把欠税和罚金赶紧交了，把三千多名奴隶转为平民，这一关就过了，不要再犯糊涂。”
杜有光要哭了，“可是六万多贯钱，还有六千多贯税钱，加起来超过七万贯了，我们哪里承受得了？”
王秀昂叹口气，起身道：“我只是好心劝你，给杜家留一点后路，你不交，一旦内卫上门后，你们杜家都得住桥洞，上街要饭，别以为我是危言耸听，不信就等着瞧吧！我家县君也仁至义尽了，告辞！”
王秀昂抬脚便走，杜有光急忙跟上去道：“难道黄家也要交吗？”
王秀昂停住脚步冷笑一声，“黄家比你聪明，人家在整改期就把所有的一千三百名奴隶都转为平民，所以他一文钱不用交，也不会被重罚！”
“什么？”
杜有光眼睛瞪大了，他大怒道：“他和我约好一起抵制，他怎么敢背叛我？”
王秀昂淡淡道：“我建议你还是把家主之位让给其他兄弟吧！一将无能，累死三军，杜家主，我最后再给你说一句话，你们有多少奴隶，内卫早就掌握了，天子铁了心要收拾杜家和黄家，黄敏比你聪明，逃过一劫，你赶紧把七万贯钱交了，或许能逃过这一劫，否则内卫上门，杜家就彻底完了，你好自为之吧！”
杜有光虽然吝啬，但他并不愚蠢，一旦他终于意识到后果严重，他也想求生自救。
杜有光当即召开家族议事，并把发生的事情原原本本告诉了族人，他原本是想让全族人一起分摊重罚，不料却反而激起了全族人的滔天怒火，纷纷表态此事和自己无关，这是杜有光的愚蠢，不能连累他们。
族人纷纷离去，最后内堂上只剩下杜有光一人绝望地站在大堂上。
三天后，也就是缴税通知下达后的第八天，杜有光上吊自杀。
又过了五天，从洛阳过来的三百内卫进驻杜家，没收了杜家一切财产，包括房产、土地和店铺，杜家所有族人三十余户都被赶出了房宅，杜家在襄阳彻底消失。