吴潜道：“杜杲顶多三天便可到达临安，皇上要在杜杲回京之前拿下丁大全，将兵权交由杜杲掌管。”
赵昀感觉奇怪，为什么要在杜杲回京之前拿下丁大全？又为什么要将兵权一下全给杜杲？他杜杲去了蒙古多长的时间，还帮助蒙古征服了斡罗斯，从而使蒙古占据了欧州的大部分土地，大有向西欧挺进的趋势，蒙古在欧洲取得如此辉煌战绩与杜杲的指挥才能脱不了干系。万一杜杲心向蒙古，那么，这道任命不就是自找绳索栓脖颈么？可是，眼前的丁大全得意妄为，完全不把皇帝放在眼里，他公报私仇，为所欲为，任意陷害朝中大臣。若不及早除之，必然危及大宋江山。
吴潜见皇帝低头不语，知道皇帝心存顾虑，于是，他向皇帝说明：“为什么要抢在杜杲回京之前，拟杜杲担任枢密使要职？杜杲去了蒙古这么长的时间，又因为他是蒙古国的驸马，陛下会如何想象？众大臣又会如何想象？倘若杜杲在京，他定会考虑这个重要的因素，凭杜杲的个性，他断然不会接受皇帝这样的任命。而军中最高职务落入谁手，确定了朝廷的荣辱与衰兴，杜杲对战争的指挥能力，令强大的蒙古都不得不服，堪称天下第一，重用他，蒙古人就不敢随意南下。”
赵昀表面答应，内心却极为不悦。他对杜杲还是缺乏信任，万一他真的投靠了蒙古，那权利越大，宋朝廷就会灭亡得越快。
赵昀要吴潜谋略，怎样才能拿下丁大全？吴潜在他的耳边低语了几下，赵昀连连说道：“妙计，妙计！”
原来，史弥远因病辞去了军中大权后，那个象征最高军事指挥权利的虎符，还在皇上理宗的手中。赵昀按照吴潜的计谋，故作为难地对丁大全说道：“朕答应拟任爱卿为右相兼枢密使，不日就会召集群臣当廷宣布，并将调兵谴将的虎符呈于爱卿手中，无奈虎符被朕交给了弟弟与芮保管，朕不想引起众大臣的异议而节外生枝，故想让爱卿事先和荣王打好招呼，结交情谊，若不这样，令弟便会以王爷自居，不交虎符，到时朝堂混乱，不好收拾。”
丁大全只知道理宗跟弟弟情同手足，也听说他有让荣王掌握朝廷军权的想法，久久不予任命，实是荣王低调不愿接受其职的缘故……
丁大全急想大权在握，他没有细想太多缘由，便点头答应，一定照办。
果然，丁大全叫人抬来了众多的贵重礼物来到荣王府，与芮先是害怕，不想无故招来祸患。东院夫人何翠花晓以厉害，他只好遵从翠花意见，予以相见。而王府的一切皆在东院夫人何翠花的谋略下安排妥当，武林高手也全都隐藏在王府的周围。为了保险起见，何翠花还请求理宗，让通侍大夫卢建斌的兵马包围了荣王府。
晚饭时刻，丁大全和荣王一起入席，为了蒙蔽丁大全，何翠花还叫西院的李小枚和北院的黄定喜一起坐到了酒桌上。
何翠花一番酒宴的开场白，讲得丁大全心花怒放，随后丁大全便恭恭敬敬地走到荣王赵与芮的身边阿谀奉承，完后便拿起酒杯立干而尽。
而荣王却坐在位置上纹丝不动，丁大全很是不满，心想：我现在的职务已是右相兼枢密使了，比你荣王还更加风光，虽然没在朝堂宣布，但也是板上钉钉跑不了，怎可这样待我？他刚想发作，荣王开始说话。
“丁大人可知道，本王为什么不喝你敬的酒？本来丁大人来到王府拜访本王，老夫须礼貌待客，方显地主之谊，而你和别人没有什么两样，也看不起本王是个闲散之人。”
丁大全一听，惊愕无比，连忙问道：“王爷此言所为何事？”
荣王轻言轻语地慢慢解释：“首先，你对我的称呼有误，谁不知，本王是完颜花容的叔父，侄女离去了，侄女婿却翻脸不认人，不是我说你丁大全，这么长的时间，你到过几次荣王府，要不是本王恳求皇上给足了你的脸面……”
丁大全既不追究，也不辩驳，而是连说不是，还主动请求罚酒三杯。
何翠花见丁大全的舌头都喝短了，觉得时候也差不多了，便向荣王使了个眼色，荣王对着丁大全，突然大声呵斥：“本王就知道你丁大全想干些什么，来人呀！把这厮给绑了。”说后就把手上的杯子用力掷地，摔得粉碎，埋伏周围的武林高手，闻讯后即刻冲了出来。丁大全醉的不醒人事，待他醒过来时，人已蹲进大牢。
那象征权利，能调动军队的虎符，根本就不在荣王的手中，史弥远辞职后，赵昀当时的想法是：朝廷只设枢密副使，让丁、杜二人互相牵制，相互监督，而真正的军事大权始终都掌握在自己的手中。
事与愿违，杜杲身在外邦，丁大全借机窃取了全部的兵权，当权利已经膨胀到能“指鹿为马”任意妄为的时候，赵昀才感觉到事态的极其严重，而当时的所作所为，又恰好帮助自己铲除了丁大全这颗毒瘤。
朝中丁大全派系之官员，见主子被捕入狱，纷纷跟丁大全割离、舍弃，反来落井下石，诉其罪状。赵昀抓住时机，整顿和调防军队中的一些高官，并恢复了董槐的一切职务。而令吴潜和董宋臣意想不到的是，赵昀并没有拟命杜杲为枢密使，而是将军中大权和象征这一权利的虎符，交给了毫无战绩、政绩可言的贾似道。
杜杲刚回到宋廷，窝阔台便将蒙古的战略目标转向了南宋。而此时的理宗皇帝疏于兵防建设，大力倡导程朱理学，企图借理学的力量来缓和统治阶级内部的矛盾。一时间，理学思想弥漫朝野。宋廷的官员一面夸夸其谈，空讲仁义道德，一面欺世盗名，渔肉百姓。丁大全下了台后，贾似道便乘机爬上了权力的巅峰，这贾似道虽说于政不通，却精于蟋蟀，人称蟋蟀“宰相”。
贾似道在临安、苏洲寻来五大美女，专供理宗享乐、快活。此时的赵昀沉溺美色，怠于政事，虽过了不惑之年，但玩起女人来却是如狼似虎、花样百出，在芙蓉阁，他每天就和这些美女们纠缠在一起。
杜杲见皇帝不在御书房，就向已是七旬高龄的董宋臣打听理宗的下落，董宋臣朝着芙蓉阁那边指了指后，便弯腰、立闪，躲得无影无踪。
此时，贾似道走了过来，他对着杜杲十分不满地责备道：“杜大人如此心急，想必有什么大事奏疏，皇帝近日十分繁忙，我们作为臣子的理应为皇帝排忧解难，想皇帝所想，急皇帝所急。不能像你现在这样，冒冒失失地惊扰皇上，你说呢？这样吧，杜大人可把折子暂且给我，让本相代劳晋见皇帝。”杜杲毫无办法，因为贾似道现在是宋朝廷的首臣，军机大事他理当知道。
贾似道来到了芙蓉阁，看见赵昀大汗淋漓，知道是刚做完“好事”疲劳的缘故。他对皇帝说：“这几个女子和宫里的相比味道如何？”
“那当然是这里的好了，够劲、够辣，只是朕毕竟过了不惑之年，长期来往，怕是朕的身体也受不了。
贾似道笑了笑，说道：“陛下，在这里舒服了，宫里可得休养好，要不为臣可就罪大了。”
“还别说，你的姐姐像似发现了什么，见朕回去软皮邋遢，没精打彩，她心里……”
“哎哟！我的皇上，到了这边，哪还敢去贵妃、娘娘的房间？您皇上的龙体要紧呀！下次从芙蓉阁回来，您就到御书房里躲一躲。”