于是，赵构、秦桧下达了全军撤退的命令。他们知道最不听话的肯定是岳飞，所以先急令听话的张俊、杨沂中等部从淮河撤军；接着命令韩世忠、刘锜等军撤回，使岳家军陷入孤立；再以“孤军不可久留”为理由勒令岳飞退兵。岳飞上疏力争：“金贼锐气沮丧，内外震骇，已经准备放弃辎重，渡河逃跑了。而且现在豪杰云集，士卒用命，天时人和，强弱已见，功及垂成。时不再来，机难轻失。”岳飞不说中原的喜人形势还好，一说倒让赵构想到了中原的军民现在认的都是岳飞，而不是赵构。那些越聚越多的抗金武装高举的都是“岳”字大旗，而不是“宋”或者“赵”字大旗。赵构的胸中原本就积累着很多对岳飞的成见、猜忌和不满，现在岳飞再一次抗旨，不仅功高震主，而且有成为“中原王”的趋势，赵构怎么能不勒令他撤军呢？
于是乎，后人熟悉的情节出现了。赵构和秦桧一天之内连下十二道金牌[1]，迫令岳飞退兵。岳飞悲愤交集，慨叹道：“十年之功，废于一旦！”对朝廷的忠诚最终战胜了北伐的壮志，岳飞不得不准备撤退。他先佯言要渡河进攻，使金军不敢乱动，再突然下令撤退。朱仙镇的百姓拦住岳飞的马说：“我们端茶运粮，迎接官兵，人人尽知。岳将军走后，我们怎么办？”岳飞痛心得无言以对，不得不延迟五天撤退，保护愿意南撤的百姓撤离。