“秦相可有办法替朕巩固这大宋的江山？”赵构问向秦桧。
秦桧回答：“老臣以为，现在应当令岳飞等人班师回朝，先阻止其迎回二宗再行其他办法。”
赵构点头表示认可，“此事交由你去办。”
“老臣遵旨。”
绍兴十年七月十八日，正当张宪同高领等人奔向开封时，却在半途中接到了朝廷下达的班师诏书，命他们即刻领兵还朝。与此同时，岳飞也同样接到了来自朝廷责令他即刻班师回朝的诏书。
众人在接到皇帝诏书的时候，都是一惊，胜利就在眼前，金兵已经不能再抵抗，此乃战争的最为关键时刻，怎能在此时班师回朝？那之前牺牲的将士们不是白白牺牲了！
高领在见到诏书的一刻大呼出来：“这个时候朝廷怎会下令命你班师回朝？”
张宪也是愤恨不已，“我马上派人去告诉元帅！”
岳飞在接到诏书后，直接写了上书命人送回朝廷：“金虏屡经败衄，锐气沮丧。虏欲弃其辎重，疾走渡河。今豪杰向风，士卒用命，功及垂成，时不再来，机难轻失。”
在上书送回朝廷的时候，岳飞仍旧下令继续前进。
两日后，岳飞的上书送至朝廷，赵构极其不悦，直接下了金牌命令岳飞即刻回朝，到临安面圣。
皇帝发的第一道圣旨，称：“今大宋已和大金议和，边境无事，即着尔岳飞带领全军立刻回兵进京，加封官职。三军有功将士俱有升赏，钦此。”
拿到圣旨的岳飞，大惊又愤恨，让他放弃眼前的胜利，实在是难。当即，岳飞派兵速传各将聚集元帅府大厅议事。
岳飞的内心此时是复杂、矛盾、犹豫的。众将听到岳元帅读出圣旨的时候，皆是大惊，有将士当即反对：“元帅，这个时候了，我们怎么能撤兵呢！”
其余众人也是纷纷附和，说这个时候不能撤兵，可是皇帝的圣旨也是命令。
“元帅，有道是将在外君命有所不受，这个时候退兵就功亏一篑啊！”
岳飞犹豫着，正在这时，外面突然传来大声报告：“皇上金牌到！”
岳飞率众将赶忙出来，报信的口气变了：“命你带军即刻进京，不得迟缓！见金牌如见朕面，立刻照办！”
这语气听来，不容商量。
岳飞心中已经隐约有了怒气。
马上，“皇上第二道金牌到！”
“皇上第三道金牌到！”
“皇上第四道金牌到！”
···
“皇上第七道金牌到！”“命你带军即刻进京，不得延误！再不火速返京即作叛逆论处！”
“皇上第八道金牌到！”“命你速即起身，若再迟延即是违逆圣旨，立斩不赦。”
此时的这种情况，已经是不得不回了。
岳飞悲愤交加，痛心疾首地仰天长叹：“十年之功，废于一旦！所得诸郡，一朝全休！”
接到金牌，岳飞只得下令全军撤退，马上回京。
接到命令的岳家军，每个也是悲愤交加，愤怒不已。可是他们面对的是天子，再大的悲愤也只得化成无奈。
在岳飞下令全军整顿回京的同时，也传给张宪军队命令：撤退回京。张宪收到军令的时候高领、言瑜就在一旁，见张宪接到军令后整个人脸色都变得死灰，良久不语。
高领不安地问道：“张将军，元帅说什么？”
“撤退回京。”张宪费力地突出这四个字。
到最后，等来的竟然还是这个结果，高领摇头不解，“只差一步了，只差这最后一战了，为何这样死命回京？你们一撤退，这里的战场如何应对？金人必定会重振旗鼓继续南侵。”
张宪说：“诏令和元帅都只让我领兵回京，并未提及高将军，我们走后，这里就拜托给高将军了。”
高领痛心，“张将军···我马上上书，问皇上为何在这时要求退兵。”
张宪已经很失望，不再说什么。
皇帝的命令下的很急，很紧迫，张宪带领的军队整顿完毕后，去同岳飞汇合，然后南下去临安。
高领和言瑜站在原地，只能无奈地目送他们大军离开。在此之前，高领已经派人将自己的上书送去临安，他希望皇上能尽快看到自己的上书，给一个解释。
“父王！”完颜明有些慌张的跑到完颜宗弼面前。
“何事让你如此？”完颜宗弼问道。
完颜明用不可置信地语气陈述：“孩儿刚得到消息，岳飞退兵了！”
完颜宗弼眼角上挑，随即狂笑不止，边笑边说道：“明儿，我此前就对你说过，此战我们未必会输，看来天佑我大金。你去下令，我们马上去开封，我们要把失去的全夺回来，再南下带你取回皇帝头上那顶冠子。”
见父王如此开心，完颜明也是很感到高兴，他虽不明为何明明对方胜券在握却突然撤兵，但这对自己这边还是天大的好事，天助我也。“是，父王！孩儿预祝父王旗开得胜！”
“好好，去吧。”完颜宗弼立刻上书告知金国皇帝这里的动态。
没有了岳家军的坐镇，完颜宗弼进驻开封后，整顿军队，坐镇指挥，很快又夺回了被岳飞收复的河南地区。
那时，岳飞正在班师途中，听闻噩耗，悲怆不已：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”
高领的上书如石沉大海，并无回音。而他当初率兵来支援的时候也只是带了几千兵马，难以抵挡完颜宗弼的十万大军。在最近的一次战争中，高领被金兵偷袭受了轻伤，在手下的将佐和言瑜的劝说下，不得已，高领才同意撤退返回平洛。
之前还信誓旦旦觉得战争很快会结束，还能为父母报仇的言瑜，自目送张宪军队离开后，对朝廷生出不满，突然觉得天空都昏暗了许多。
高领等人回到平洛时，陆旷亲自出来迎接。
岳飞被朝廷强力召回的事情他也知道了，非常不解地问高领：“临阵换将乃兵家大忌，为何朝廷会在此时召回岳将军？你们不是已经打到朱仙镇了吗？”
高领提起这件事也是愤恨不已，“一天十二道金牌令召唤，任谁也抵挡不住，不能不从。真不知道咱们这位官家是如何打算，自岳将军走后金兵就连续发起反攻，把之前收复回来的城镇又重新夺了去，我带兵不多，也不足以与他们大军抗衡，真是功亏一篑，不甘心！”高领一拳打在了桌子上。
陆旷看向言瑜，言瑜只是点点头，表示高领说的就是事实，如此残酷。
高领继续说：“我早已上书皇帝，但至今无音信，我打算继续上书。”
陆旷说：“为今能帮将军的也只有上书抗争，希望皇帝早日醒悟，让将军回来，再创辉煌。”
希望是好的，但此后高领的上书一直未得到任何皇帝的回信，他甚至怀疑皇帝有没有看到自己的上书。
其实事实是，皇帝真的没有看到高领及其他大臣的上书，发出金牌令后皇帝就基本将奏折交给秦桧打理，经过秦桧挑选后，一部分奏折才会被送到皇帝手中。像高领那种上书反对岳飞被召回的奏折根本不会被送到皇帝手中，而是直接被销毁了。
绍兴十一年正月，完颜宗弼再度率军南侵，攻占了寿春等诸多城镇，到二月再攻下庐州。之前岳飞回朝面圣，请求朝廷解除他的军职，但没有被答应。皇帝眼见前方抵挡不住金兵的南侵势头，不得已继续派出岳飞支援淮西。
此前虽然朝廷派出张俊、韩世忠等将领抵抗，但由于张俊想包揽军功以及韩世忠等人的延迟抵抗等原因，等岳飞出发到前线的时候，已经是无力回天之势。
但在抵抗过程中，金兵也没有尝到多少好处，眼见也没有能力灭掉大宋，完颜宗弼派出使者出使大宋，表达希望议和的意愿。
朝廷中的以秦桧为首的主和派自是极力赞同，秦桧也一直游说皇帝接受议和。
夜里，完颜宗弼在书房写好一封书信，派人连夜秘密送到临安宰相府。宰相秦桧收到完颜宗弼的书信后，心中已有了计划，信上说：必杀岳飞，而后和可成。
在秦桧的授意下，朝廷中的大臣极力主张接受议和，秦桧在对皇帝讲出议和利于国泰民安的好处，最终皇帝想通，同意议和，并下令解除岳飞、韩世忠、张俊的兵权，令其们到枢密院供职。
不利的消息接连传到平洛，被解除兵权后的岳飞又被万俟卨、罗汝楫弹劾，诬蔑他不积极援助淮西，逗留不进，还主张放弃楚州等罪，最终皇帝竟然罢免了岳飞的枢密副使之职。
令高领更加没想到的是，紧接着都统制王贵、副统制王俊竟然诬告张宪谋反，而且还牵连到了已经闲散在家的岳飞，随后岳飞、岳云、张宪均被关押进了大理寺。