尉迟虎杀到北城，却见北城门大开，他心中暗叫不妙，立刻率领五千士兵冲进旁边的军营，果然被他猜到了，军营是一座空营，柳长季和他的两千士兵都从北城门逃走了。
这时，士兵在伙房抓住一名厨子，将他押过来，厨子心中害怕，吓得跪在尉迟虎战马前，“大将军饶命！”
尉迟虎冷冷道：“我可以不杀你，但你要老老实实交代，柳长季为什么逃掉，发生了什么事？”
“具体小人也不清楚，我只是听几名士兵说，说李瑜被杀了，柳将军想率军去王府，又有人跑来报告，说西城门开了，尉迟大将军率领大军从西城门杀进来，柳将军就决定从北门逃走！”
“你的意思说，他们刚刚才逃走？”尉迟虎又追问。
“正是！走了还不到一盏茶时间。”
尉迟虎立刻调转马头，率领军队追了出去，他们奔出北城门外，远处是一片漆黑，已经看不见柳长季军队的踪影。
有大将低声道：“可能是去投奔罗怀清了。”
尉迟虎点点头，只有这个可能。
他当即令道：“关闭城门，去王府！”
召王府同时也是岭南五府经略府，占地近五百亩，里面的楼台亭阁极多，中郎将曾靖海率两千人死守王府。
曾靖海其实是水军主将，但因为没有敌人，广州的水军并没有多，只有两千人，主要负责在伶仃洋内巡哨，打击零星海盗。
曾靖海倒并非忠心李瑜，他是忠心召王李偲，李偲临走前嘱咐他辅佐李瑜，他当然要尽心职守，怎奈李瑜自己不争气，脱掉孝服跑去谈论音乐，被同伴出卖，最终死在尉迟青的手中。
王府围墙高大坚固，两千士兵部署在围墙上和房顶上，用弓箭死守，而攻打王府的士兵有六千人，都是投降尉迟虎的三名中郎将部下。
这时，尉迟虎率领五千士兵赶到，尉迟青连忙上前来参见大哥，尉迟虎看了一眼王府问道：“有劝降了吗？”
“我给曾靖海喊过话了，但没有回应。”
“他人在哪里？我来劝他。”
“就在正门旁边，大哥要当心对方冷箭。”
尉迟虎来到大门前，亲兵们高举盾牌，将他遮挡得严严实实。
“曾老弟可在？”尉迟虎高声喊道。
半响，有人回答道：“尉迟虎，召王待你不薄，你却要夺他的根基，你不羞愧吗？”
声音正是中郎将曾靖海，尉迟虎道：“曾将军误会了，我尉迟家族何德何能，敢霸占岭南？我们是支持四郎李鄜上位，李瑜昏庸，沉溺于音乐酒色，不堪大用，你何必效忠这种人。”
“李鄜更昏庸无道！”
“曾老弟，我其实是支持长子李鸯，但不知李鸯会不会被扣在长安，所以暂时支持李鄜，如果李鸯回来，我自当说服李鄜让位！”
“你以为我会相信你吗？”
尉迟虎摇摇头，“这不是信不信的问题，而是你的选择，要么我一把火烧了王宫，你们和王宫玉石俱焚，要么你和我一起支持李鸯。”
曾靖海半晌道：“你此言当真？”
“我尉迟虎向上苍保证，绝无戏言！”
“那好，我曾靖海愿听从尉迟将军的号令，你不得让我手下放下兵器，也不能解除我的职务。”
“大哥，他们必须放下兵器投降！”尉迟青急道。
尉迟虎摆摆手，“现在要尽快平息事端，稳住局势，等我们站稳脚跟后，再慢慢收拾他。”
他随即高声道：“曾将军既然是水军，那么可去冈州驻扎在新会县。”
“你们后退三百步，开启西城门，我率军撤离！”
曾靖海其实并不相信尉迟虎，但他已经没有选择了，如果对方一把火真烧了王宫，不仅他们都得丧命于火海，大公子的妻儿都保不住，自己没法向老王爷交代了。
撤离南海县至少是目前最好的结局，他下令道：“全军准备撤离！”
尉迟虎下令军队暂时停止包围王宫，后撤三百步，又开启了西城门，曾靖海率领两千士兵迅速撤离了王宫，向西城门外奔去。