对此岳飞非常不高兴，他心灰意冷地离开了建康，溯江西上。岳飞虽然非常不满，却不敢直接对皇帝发泄自己的情绪，于是以“将相议事不合，乞罢兵守余服”为名，向皇帝上奏辞职。
赵构的批示还没下来，岳飞就回到了江州庐山东林寺附近的居第。赵构接到岳飞的奏折后，立即下旨要他复出治事。
赵构虽然表面上不动声色，但实际上却非常不满，在他看来，岳飞的举动就是大不敬。宋高宗听取张浚的建议，派张宗元前往鄂州，担任岳家军的宣抚判官。
虽然岳飞将岳家军的军务委托给了张宪，但此时张宪也因病离职，朝廷又派张宗元前来，结果引发岳家军内部的混乱，导致军心慌慌。
此时岳飞也已经接到赵构的旨意，但他仍然没有返回军营的意思，再度向宋高宗提出要在庐山为母亲守孝。赵构接到奏折后，再度向岳飞下旨，表示军情紧急，希望岳飞不要推辞，速速返回军营，不要再有所陈请。岳飞接旨后，仍然没有复出的意思。
赵构没有办法，只好下发了第三道旨意。南宋朝廷料到岳飞可能还会不遵旨意，让三省、枢密院向岳飞手下的参议官李若虚、统制王贵下了一道命令，让他们去庐山敦请岳飞，假如违抗命令，以军法从事。
李若虚见到岳飞后，岳飞依然没有复出的意思。李若虚说道：“是欲反耶，此非美事。若坚执不从朝廷，岂不疑宣抚。且宣抚乃河北一农夫耳，受天子之委任，付以兵柄，宣抚谓可与朝廷相抗乎！”
在这种情况下，岳飞才返回军中，同时以待罪之身向朝廷上书。虽然赵构没有怪罪岳飞，但这是因为当时的战况紧急。
不过，赵构在给岳飞的一道御札中，警告岳飞，“犯吾法者，惟有剑耳”。在赵构看来，岳飞非常跋扈，居然敢三次违背自己的旨意，到底谁才是老大？
总之，岳飞谜一样的操作整的赵构寝食难安，但赵构又不敢拿岳飞怎么样，毕竟这万里江山还需要岳飞的守护。
李寺当然知道赵构和岳飞之间的恩怨情仇，他指着天上的月亮道：“你看，月有阴晴圆缺，人有优点缺点，你对岳飞是不是有些偏见？”
“我是问你和岳飞说了什么，谁问你岳飞有什么缺点了。”
“你要是对岳飞没有偏见，怎么会在意我和岳飞说什么？”
李寺知道赵构心里的想法，赵构是怕李寺撺掇岳飞谋反，李寺已经说中几次军情，要是和岳飞联手，这边关局势可就紧张了。
“哼，我只是好奇，你是怎么搭上岳飞的，难道你对军国大事也开始感兴趣了？”
“国家兴亡匹夫有责，我当然要对军国大事感兴趣，没有和平，生意做的再大又如何！”
李寺说的是真理，赚再多的钱，国家要是不太平，有命赚没命花。
“我见你和岳飞相谈甚欢，你们到底谈了什么？”
赵构还是想知道，以岳飞的性格，很少有人能和他喝的那么尽兴，谈的那么愉快，李寺到底给他灌了什么迷魂汤。
李寺指着不远处的石凳说：“我们坐下来说吧。”
虽然外面有些凉，但是坐着总比站着舒服，再说那几条石凳和石桌在小竹林里面，竹林再稀疏，多多少少也能挡些风。
“我认岳飞做了大哥。”李寺坐下来说道。
“什么？”赵构有些吃惊，因为岳飞最不喜欢拉帮结派，而且李寺不过是个商人，岳飞堂堂军神怎么会看上他？
“你这什么表情，怎么，我不配当他的小弟吗？”李寺敬重岳飞，但是在穿越人的面前，就算是军神，也没有必胜的把握。
“我是奇怪，你不是无所不能吗，怎么会甘愿当别人小弟，你有时候连朕都不放在眼里。”
“老赵啊，你就别在我面前装模作样了，是谁连下三道圣旨催岳飞出山的？”李寺揶揄道。
“你！”赵构没了脾气，论打仗，他确实不如岳飞。
“所以啊，人各所专，打仗岳飞是高手，赚钱我比你俩厉害，当皇帝你是这个！”李寺冲赵构竖起了大拇指。
李寺不得不承认，赵构当皇帝是称职的，南宋中兴，靠的难道就只是中兴四将？没那个为首的皇帝，将军们再厉害都是一盘散沙。
赵构指使秦桧杀岳飞，难道真的是一时糊涂？
以李寺这么多天和赵构的相处来看，赵构的见解见识绝对不输历史上任何一个明君。
后人诟病赵构，一是因为岳飞，所有人都觉得赵构杀错了岳飞，但是从长远来看，岳飞在那样的历史时期是不得不死。
二是赵构软弱，不想着收回失地，只知道偏安一隅。但是要知道，正是赵构的求和政策，南宋才有了国泰民安的局面，经济在世界上排名第一。
三是都认为赵构是荒淫无道，很多人说赵构跟他老子赵佶是一丘之貉，好色之至，但这也许是谣传，但是看赵构的寿命，他活了八十几岁，哪个荒淫无道的皇帝能活那么久，这可是在古代。
历史上最长寿的皇帝是乾隆，活了八十九，赵构以八十一的高寿排名第四，从李寺认识赵构以来，他还从来没见过赵构有什么异常的好色举动。
当然了，这肯定和赵构失去了那个功能有关，没有了色欲的牵绊，就能集中精力在其他方面，这就好像牲畜被阉割过后，都是非常的优秀。
李寺对赵构的认可，当然是得到了赵构的热烈回应，“算你识货！说说看，岳飞为什么愿意收你做小弟？”
“这有什么好说的，英雄所见略同啊，我们都是主战派。”
要和一个人迅速拉近关系，就只有顺着毛捋，在一个频道上，就容易交流，有了共鸣，就能称兄道弟。
“你以为主战派还少吗？就你是主战派！”赵构这个皇帝其实很窝囊，他当年出使金国主战的时候，国内偏偏主和，现在他当了皇帝主和，偏偏有那么多臣子跳出来主战。
为什么就不能上下一心呢？
“主战派是很多，但我和岳飞是坚定的主战派，不瞒你说，我已经和岳飞打赌，要是金军在三月份以后发动南侵，我就去帮他打仗。”
赵构吓了一跳，抓着李寺的手急急问道：“你说什么，三月南侵？这可不到两个月了！”
李寺甩开赵构的手说道：“你慌什么，我是说三月以后，就算是三月，我们现在的准备不也足够了吗？”
李寺说的准备，当然是指军饷，从去年下半年开始，李寺就一直在为军队存储粮草，他赚的所有钱都可以立马充作军资。
加上赵构在李寺的鼓动下，也囤积了不少私房钱，现在赵构的封桩库，可以说是满满当当。
“老李啊，你是没打过仗，我们是准备了不少军饷，可是真要打起来，这点钱只够打十天半个月，还有，打仗不光是钱的问题，军队的配合等等也不容忽视啊。”
赵构之所以不愿意打仗，就是这帮将领实在是太难安排了。
有本事的吧，不听使唤。
没本事的吧，贻误战机。
总之一开战，赵构就头大，所以这些年，他都是和平爱好者。
“不管你愿不愿意，该打的仗一场都跑不了，你就做好准备吧。”
李寺知道宋金之间必有一战，而且赵构现在的心态和他穿越来之前不一样了。
归根结底，李寺给了赵构很大的信心。
赵构叹了一口气道：“虽说我早有心理准备，但是真的要开战了，我又心里没底。”