控制住杨仆后，公孙遂随即持节进入杨仆大营，以朝廷的名义罢免了杨仆的兵权，由荀彘统一指挥。
杨仆的部下都是齐地的罪人，有些还是济南郡的，大多认识公孙遂，对杨仆也不存在特别的忠诚，没有任何异议的服从了公孙遂的安排。
任务完成后，公孙遂想要回朝复命，荀彘强烈反对：“公孙大人，咱们贸然逮捕了杨仆，如果不能拿下朝鲜，如何向皇上交代？”
公孙遂脸色一变：“荀将军，你这是什么意思？难道还要本官等着收复朝鲜再回去吗？”
“当然。您现在回去的话，皇上问您为何逮捕杨仆，您该如何回答？”
“逮捕杨仆，不是你的建议吗？是你说杨仆有投敌的嫌疑。”
“如果杨仆不承认投敌呢？”
“左将军，你到底想说什么？”公孙遂有些生气。
“末将以为，为了保险起见，咱们最好直接杀了杨仆，然后灭了朝鲜，杀了卫右渠，让朝廷死无对证。不然，我们很难交代。”荀彘正色道。
“不行！杨仆不能杀！”公孙遂断然道：“皇上并没有授予本官专杀之权。”
“如果公孙大人不肯杀杨仆，那就等收复了朝鲜再回去。到时候，公孙大人也算是为国立功，皇上是不会计较那些细枝末节的。”
公孙遂沉默了一会儿，觉得自己被荀彘糊弄了，冷笑道：“左将军，你这么做，是不是想将本官和你绑在一起呢？也许杨仆根本没有投敌的想法，是你不愿意接受朝鲜的归降，想要独自立功吧。”
荀彘强压怒火，沉声道：“杨仆不守约定率先出击是事实，不肯和末将一切攻城也是事实。况且，末将还多次看到他和卫右渠暗中来往，他不是投敌是什么？”
“这些话，你还是留到朝廷再说吧。”公孙遂嚯的站起身：“眼下，本官要回朝复命，荀将军好自为之吧。”
荀彘脸色很难看，既想拦住公孙遂，又没有那个胆子和权力。更让他崩溃的是，公孙遂竟然要带走杨仆。
荀彘坚决不肯，公孙遂冷冷道：“杨仆若是留在朝鲜，被你杀了怎么办？是非曲直，还是等你拿下朝鲜回到长安和杨仆当面对质吧。”
就这样，公孙遂带着杨仆率先离开了朝鲜。此时此刻，最为尴尬的是荀彘，杨仆回到长安后，一定一口咬定他是在劝降卫右渠，而公孙遂为了推脱，肯定也说是被荀彘所蛊惑。
所以，事到如今，荀彘只有一条路，那就是彻底拿下朝鲜，杀死卫右渠。以他对汉武帝的了解，只有收复朝鲜，才有脱罪的可能。
五月初二，公孙遂带着杨仆回到了长安。汉武帝听说他竟然把杨仆逮捕了，还带回了长安，惊讶不已，难道杨仆果真有投敌嫌疑？
承明殿内，汉武帝面无表情的问道：“让你前往督军，为何逮捕了杨仆？杨仆到底犯了何事？”
“回陛下，左将军说，楼船将军有通敌的嫌疑，臣为了早日收复朝鲜，听从了左将军的建议，将杨仆逮捕，兵力全部交给了左将军。”公孙遂小心翼翼道。
“你口口声声说是听从左将军的建议，那你有没有调查清楚，杨仆到底有没有投敌呢？”
“回陛下，臣觉得左将军的分析很有道理，没有去调查。”公孙遂如实道，莫名的有些紧张。