皇上想要再派杨仆为将，又怕他恃功骄傲，就下书敲打他：“你的所谓功劳，不过是先攻破石门、寻陿而已，你有斩将夺旗之功吗？有什么好骄傲的呢？你之前攻破番禺，把投降的人抓起来，说是你俘虏的，把死人从坟墓里挖出来，说是你斩杀的，这是你的第一个过错；让赵建德、吕嘉以东越为援军，这是你的第二个过错；士卒暴师在外数年，你不体恤士兵们的辛劳，自己倒乘着驿车视察边塞之便，公车私用，回家探亲，带着金银财宝，腰里露出三颗印信的绶带，夸耀乡里，这是你的第三个过错；在家里待着就不回来，以至于逾期，还借口道路险恶，这是你的第四个过错；我问你蜀地的刀卖多少钱一把，你居然答不上来，以伪诈冒犯君王，这是你的第五个过错；受诏出征之时，让你来兰池，你不来，第二天也没有任何解释，这是你的第六个过错。假如你的部下，问他事情他不回答，给他下命令他不听，那是什么罪呢？把你这种心思表现在外，还有人能信任你吗？如今东越深入国境，你能带兵出征，戴罪立功不？”
杨仆吓得魂飞魄散，惶恐地说：“臣愿尽死赎罪!” 于是皇上派横海将军韩说从句章出师，走东方海路进军；楼船将军杨仆从武林出师，中尉王温舒从梅岭出师，以越侯为戈船、下濑将军，分别从若邪、白沙出师，以击东越。