而黄龙府是女真部发源地，在极北苦寒之地，岳飞此时想的恐怕不仅仅是收复故土，而是要彻底攻灭金国，以报靖康之仇。但事实上，在岳飞出兵之前，秦桧就已经纠集其在台谏的党羽，要求与金议和，并要求众将退兵保守。岳飞手持高宗御札，在监军李若虚的支持下违诏进军，取得大捷。中途秦桧多次干涉，岳飞均出示御札，继续进军，还向高宗上奏说兀术已经将老小渡过黄河准备北逃，正是诸路并进，实现中兴的良机。秦桧知道自己命令不动岳飞，竟心生毒计，迁张俊为淮西宣抚使，条件是从亳州撤兵。张俊为了得到秦桧的封赏，未得朝廷诏令，便擅自从前线撤兵。韩世忠正在围攻淮阳，见张俊退兵，将自己的右肋暴露出来，只好退守楚州。秦桧又迁杨沂中为淮北宣抚副使，刘锜为淮北宣抚判官，全部从前线撤回。当时川军虽然在陕西大败撒离喝，但一时也不可能从陕西打出来，中原就只剩下岳飞一部孤悬敌境了。这时岳飞已推进至开封以南45里的朱仙镇，兀术仍集结十万大军顽强的列阵相抗。岳飞派500背嵬军冲入金阵，全无士气的金军立即溃败，兀术退保开封。
当然，这一次猛烈进攻实际上是撤退的前奏。昔日故都遥遥在望，但形势却突然逆转，各部友军都已经撤回，岳飞部孤悬敌境。在这辽阔的华北平原上，金军骑兵可以从各个方向切断宋军的补给线和撤退路线，没有友军的策应，一支孤军是不可能停留在这么大片平原上的，撤退已经是岳飞唯一的选择。为防金军邀击，岳飞才作出进攻开封的姿态，兀术也明白这个道理，没有被岳飞吓走。岳飞下令各部从堰城退兵回鄂州，自去临安觐见。退兵时，据说一日奉12道金字牌（不太现实，可能是史家讹传），东向临安再拜道：“十年之力，废于一旦。”百姓拦马恸哭：“我们资助迎接官军，金人都知道了，相公离开后我们怎么办啊？”岳飞这条铁汉也不由得悲泣，取出诏书给大家看，道：“我不能擅留啊。”一时间哭声震野。岳飞花了五天时间，把百姓南迁，奏请朝廷以江汉六郡的闲田安置。开封，回首遥望这座曾经恢弘富丽的帝都，在陷落金人铁蹄10年之后，岳飞曾带着官兵离他只有45里之遥，却因为秦桧的一意求和，与雪耻的希望擦肩而过。岳飞，这位坚强的战神，也只能无奈的转过身，将伤感的背影洒在城南的原野中。