会盟结束之后，唐俭与酋长们一一告别。这个时候的突利可汗的想法发生了微妙的变化，如果大唐天佐是草原上的大可汗，突利仍然是二可汗，而大唐天子远在中原，这是不是意味着草原上实际的主人就是他突利呢？他越想越觉得兴奋，在这种状况下，他也就不希望颉利东山再起了。但许多时候，人越想怎么样，实际上就越不可能怎么样。无论突利可汗多么努力的想把颉利找到立功，可这个家伙就像是钻到了地底下。几乎翻遍了整个草原大漠以及丛林，都没有颉利的踪影。唐俭临行之前对大家说：“务必要在草青马肥之前将颉利找到，如果你们一直不能找到颉利，诸位将军的功劳就会被自己所犯下的过错吞噬。”李靖说：“请你放心，我一定把差事办妥，绝不会让皇上失望。”唐俭满意的走了，因为他相信李靖一定能够找到颉利，从大漠返回的路上，唐俭的心情逐渐从豪迈变成了惶恐。
等他终于到了长安城的脚下，他想到自己一生最风光的时间已经过去了。也许是时候应该收敛锋芒，夹着尾巴过日子了。于是在向皇帝复命之后，连续多日托病没有去跟皇帝下棋。与唐俭下棋每次都输，这就是皇上一直要跟他下棋的原因。因为他相信总有一天自己可以赢唐俭一回。于是在唐俭自称已经病愈之后，终于在一天中午赢了唐俭。唐俭将棋子放下，跪在皇上的面前说：“恭喜皇上，终于把臣赢了，臣的棋力已经不如皇上了。”以往唐俭在跟皇上下棋的时候，从来不掩饰自己的得意。现如今他的身上再难看到那种意气风发的感觉，皇上说：“这一次你从漠北回来，朕感觉你就像是变了一个人，你说朕是应该为你感到高兴呢？还是应该为你感到遗憾呢？”唐俭说：“皇上，皇上钻研棋艺，日进千里，就算超过程也并不让人感到意外。”皇上说：“你知道你在说什么吗？你这分明就是欺君。”
一听这话下了唐俭赶紧跪倒在地，唐俭的反应把皇上反而吓了一跳。以往唐俭每次来都是一副大大咧咧的样子，无论皇上如何暗示他，他似乎都不往心里去。皇上心中十分不解，说：“告诉朕到底发生了什么，你为什么变成了这个样子？”唐俭说：“回皇上的话，在狼居胥山主持会盟仪式，说明臣一生最风光的时候已经过了，《易经》早就教导过我们了，现在已经过了耕种的季节，所以不宜再做加法，而要做减法了。”对于手底下的大臣动这种小心思，皇上是非常反感的。于是说：“你不是喜欢做减法了，那就把你的冠带留下，回去做个平民吧！”唐俭一脸平和的将冠带摘了下来，然后站起来向皇上告别，说：“这几年人几乎将皇宫当成自己家，如今臣变成了百姓，以后再想见到皇上就比登天还难了，愿我们各自珍重，愿天下太平，愿百姓逃生记不再艰难。”然后一步步退了出去。
对眼前的变化，皇上没有心理准备，所以望着唐俭离去的背影皇上一直不敢相信这是真实发生的事情。他脑袋里乱的像是一团浆糊，泪珠像是断线的珠子一样，不停的滚出眼眶。回到后宫，皇后看皇上这副光景，于是说：“皇上这是怎么了？”皇上说：“朕免了唐俭的官职，让他回去做百姓了。”皇后笑着说：“你把唐俭的官职免了，将来谁跟你下棋呢？”皇上说：“朕已经在棋盘上胜过他了。”皇后说：“这件事恐怕没这么简单，自从他与你下棋，就从来没有失过手，为什么会突然输给你呢？”皇上说：“难道朕的情谊就不能进步吗？”皇后说：“皇上曾经常年争战，对于这样的道理，应该不难明白，一个人如果实力不济，遇到天才永远没有机会。”皇上说：“你把他比作天才，把朕比作蠢才。”
皇后说：“皇上可曾记得做工的匠人是如何评价你们几张弓的吗？尺有所短、寸有所长。一个人如果能够成为一名圣君，就不可能在棋艺或者什么别的领域有大成，反过来一位圣君，绝不可能花费大部分的精力去钻研于一艺。因为只要那么一干，就荒废了天子应该做的事。”皇上说：“那好吧！就算你说的对。”唐俭在返京之后迅速的被削去了官职，这件事给漠北的人带来极大的震撼。他们都以为在这次会盟当中，唐俭的表现可圈可点。李世勣说：“这件事我真的如传闻中所说的那样吗？因为唐俭输了棋，皇上觉得他们不用，就免了他所有的官职？”李靖捋着胡须说：“把这件事忘了吧！”李世勣说：“让我不议论这件事很容易，我是担心他给大漠的人带来不好的影响，会不会觉得皇上这个人不可信，会不会因此而想起来那个反复无常的颉利可汗。”
说到这里，李靖也沉默了。空气似乎也一下子凝固了，过了很久，李靖终于说：“放心吧！其实有什么不好的影响，我们也能够应对，就算是我们的应对，出了什么问题，政事堂的人一定会有办法化解即将出现的危机。”果然如同李世勣所预料的那样，大漠一时间人心惶惶。突利可汗说：“制史回去之后迅速的被免去了官职，真的是传闻中所说的原因吗？”底下一位幕僚说：“可汗，我觉得事情不会想我们所以为的那样，制史去职完全是他自己的缘故，并非皇上在为难他。”从前在离开长安之前，悄悄的去拜会了孙思邈。午夜时分，馆驿的一间上房之内，唐俭与孙思邈一边品茶一边聊天，唐俭说：“外人很难想象我与孙师父竟然有交情，外人都以为我是个弄臣，靠着下棋接近皇上，骗取功名，现如今我把这些东西都还给了皇上，你说天下人还会议论我吗？”孙思邈说：“许多东西的取舍不取决于你自己而取决于天命。”
唐俭说：“我之所以这么说，就是为了顺应天命。”孙思邈说：“天道与人道不同，天道是万物总纲，是万物运行之原力。而人是万物之一，处于万物之中，受万物影响，却不能等同于万物。天道是恒定的，没有增加，也没有减少，而人道则不然，时刻都有分离聚合，时刻都有生老病死。所以人生在世，必定要求富贵求功名。”听到这话从孙思邈的口中说出来，实在是让唐俭感到有些诧异，孙思邈说：“和尚和道士都是修行之人，这就好比道观和寺庙都是供奉神仙和佛菩萨的地方，可不同的道观和寺庙贫富也不同。道观和寺庙都有贫富之分，都有等级之序，又怎么能指望所谓修行之人不受贫富和等级的影响呢？人若想超脱人道归于天道，只有一种办法，就是化作青烟、驾鹤西去。”
唐俭说：“天道是统御人道的，这种没有问题吧！”孙思邈说：“在天道之中，九州不过是一粒灰尘，人生在世不过是一个瞬间而已。他们看起来是如此的渺小，如此的不起眼。而人道则不仁，每个生命的诞生和消失都是大事。”唐俭说：“人道难道不是从天道而来吗？”孙思邈说：“老子说过，人法地，地法天，天法道，道法自然。由此可见天比地要大，地比人要大。天是全局，地是一域。相比于人地又是全局，而人是一域。”唐俭拱手说：“没想到你这个老道说的话跟我以为你会说的话完全不同。”孙思邈说：“不过你能懂得盛极而衰的道理，这很好。鲜花总有败的一天，青草总有枯的一天。你能够急流勇退、明哲保身，说明你是一个非常聪明的人。只不过一个很聪明的人往往也很难压抑自己内心的需求，有于需求有时候就是煮在锅里的沸水，经常把锅盖掀掉，然后溢出去害人害己。”
唐俭说：“如此看来你不是很看好我日后的生活。”孙思邈叹口气说：“摊开一张白纸，如果上面点上一个墨点，所有人注意的就不是白纸，而是墨点。其实生活中人也是这样的，你所注意到的永远是那么一点，而大片的空白被你忽视掉了。当有一天几乎满纸都是黑色的时候，残存的那么一点，留白又成了你梦魂萦绕的所在。于是你就发现人经常处于轮回之中，当他寂寞的时候，热闹就在世界的另一头朝他招手。当他各种热闹恭维的时候，却又与彼岸的寂寞互相抛媚眼。我之所以要说这些，就是要告诉你，现实与你的想象永远有一段距离，至少有50%的差距。”唐俭耷拉着脑袋，一下子陷入了巨大的迷茫之中。孙思邈进一步说：“有迷惑不要紧，回去之后可以慢慢想，只是你要提醒自己，有些东西一旦做了就不能再回头，否则就是给自己招祸。”
没过多久，唐俭便带着行李和家人离开了长安，回到了自己的老家，过起了平淡的生活。孙思邈仍然要滞留在长安，他希望能够尽最大的努力，挽回杜如晦的生命。这一日清晨，杜家又派人来请他，他带着药箱来到了杜如晦的府上，看见杜如晦躺在病榻之上，整个人看起来显得非常憔悴。他把手搭在杜如晦的手腕上，微微的闭上双眼，片刻之后又睁开，说：“不要待在长安了，回老家吧！”一听这话，杜公子就急了，说：“你这老儿好生可恶，知道自己在说什么吗？你想毁了我杜家的富贵？”孙思邈说：“我只是觉得长安是争名逐利的地方，这里实在不宜养病。”杜如晦强撑着做起来说：“你的意思我明白，但你也说过，病可以医，命是医不了的。”
孙思邈说：“如果你能够回自己的老家，放下所有对功名的想法，我可以保证再给你十年的寿命，要是情况足够理想的话，或许不止10年。”杜如晦说：“我现在头脑昏昏，精神不振，有什么办法可以暂时化解这个问题吗？”孙思邈说：“没有办法。”杜如晦抓住孙思邈的手腕说：“孙师父，你一定有办法的。”孙思邈说：“或许我可以用针灸的办法帮助你提振精神，但是这会大的伤你的元气，所以我不会这么做。”杜如晦说：“我想为朝廷尽最后一份力，把我心中酝酿已久的改良军制的方略写出来常送给皇上，如果这个方略能够实行的话，可以让百姓赋税减少大办，从而确保在未来数年之内，大唐将重现往日的繁荣。”孙思邈说：“隋朝的繁荣是驴粪蛋面子光。”杜如晦说：“你就帮帮我吧！我在这里提前感谢你了。”说着他又让杜公子跪在孙思邈的面前，孙思邈因为实在拗不过，只好答应了。
不过轻轻的用了几针，杜如晦就感觉自己头脑清楚，心如明镜，双臂充满力量。孙思邈提醒他说：“请记住，只能维持两个时辰。如果两个时辰还没有完，我就无能为力了。”杜如晦斜靠在病榻之上口述，杜公子提笔誊录，没过多一会儿就写完了。之后又经过反复斟酌修改，终于在两个时辰快要结束的时候形成了定稿。杜如晦躺在那里奄奄一息，孙思邈说：“要记住，一天之后再给他进食，宜少不宜多。”杜公子说：“一天不吃饭，还不把人饿坏了，怎么还宜少不宜多？”孙思邈说：“我之前说过了，因为我给他用了针，以至于他元气外泄，元气是支持五脏六腑运行的原力，元气的衰减，意味着肠胃消化之力跟着衰竭，所以新陈代谢之速度会大大减慢，要是吃的多了，杂物就会储存在体内，无法排出，或杂物越积累越多，羸弱之身，而体内有淤积着大量的粪便，没有比这个更凶险的了。”
不久之后，皇上在大内看到了那一份方略。顿时惊得目瞪口呆，赶紧到府上来看望，杜如晦说：“臣知道自己来日无多了，所以提前把方略逞上来以备将来之用。”皇上说：“你说要改军制，为何要这么做？”杜如晦说：“贞观朝伊始，我们就修订武德律，革新官制，为的是减轻百姓的负担，让天下更容易治理。其实官制所呈现出来的弊病在军中也非常的普遍。所以军制如果不改，皇上的宏愿就不能实现。”皇上说：“难为你想的这么周到？有你在朕也没有什么可担心的了。”从杜如晦的府上回去之后，皇上立刻把房乔宣进大内，说：“杜如晦病成那个样子，还在想着改变军制，而你一天到晚在想什么呢？我看你就是一个尸位素餐的布偶宰相。”
房乔说：“改变军制的事情，臣很早就与杜公商量过了，都觉得非改不可，只是眼下战事还没有结束，如果在这个时候释放出这样的消息，前线的将士们会怎么想呢？”皇上说：“我说让你马上改了吗？我是说你为什么从来没有跟我提起过这件事？”房乔说：“关于这件事我们的想法也是只言片语似的，并不知道具体应该如何做，把一个原本不成熟的想法报告给皇上，只是让皇上徒增烦恼而已。”皇上说：“你知道吗？你这是欺君。”一听这话房乔吓得跪在地上瑟瑟发抖，因为抖的太厉害，所以没有办法说出一句完整的话。听说了左仆射右被训斥了，马周在当天晚上前去慰问，结果房乔选择避而不见。生怕皇上以为他们是一伙人，从而连累马周。马周当然明白房乔的这一番心意，于是在房乔家的门口深深的鞠了一躬，然后离开了。不久之后皇上听说了这件事，说：“看来房乔在朝中虽不是一呼百应，但也差不多了。”
不久之后，皇上又拿这件事情咨询长孙无忌，对方说：“秦府之中的人大多数都是有房先生居间的，所以朝中大多数人都是他的故人。”皇上说：“这么说他真的已经搭建起了自己的秘密班子。”对方说：“这个有点言过其实了。”皇上说：“真有心解雇房乔，你觉得如何？”长孙无忌说：“我知道皇上的心思，可你也知道，皇后不支持我辅政，其实他这么想是正常的。毕竟汉朝的衰落跟外戚有着密不可分的关系，她不想让大唐重蹈覆辙。”皇上笑着说：“我相信全天下的人都反了，唯独你不会反朕，我们彼此相处这么多年了知根知底，这样怎么能使别人能比得了的呢？”说这话的时候，皇上不经意间我说服了自己，而想要回到后宫说服皇后。因为皇后在反对长孙无忌辅政这件事情上态度非常的坚决，甚至多次跟皇上吵了起来。这种情形，在一贯温良的皇后身上是极难见到的。
回到后宫，皇上耐着性子说：“这个房乔实在是太不像话了，他早就已经跟杜如晦在讨论改军制的事情了，却从来没有对朕提起过，实在是可恶，你说朕应不应该罢了他的官。”皇后轻描淡写的说：“人家没有告诉你，自然有不告诉的道理，皇上又何必着急呢？反正这些事情没有办法，再不通过你的情况下让它付诸实施。”皇上说：“你为什么这么护着他？为什么你对自己的哥哥如此冷淡呢？为什么你宁愿相信房乔，而不愿意相信自己的哥哥呢？”皇后说：“皇宫是经天纬地的栋梁之材，皇上能有今日离不开皇宫的谋略，皇上不应该用人唯亲。”皇后把话说的这么直接，毫不掩饰自己对房乔的欣赏，这件事让皇上既没有办法理解，却又不得不按照皇后的意思办。
不久之后，皇后在后宫支持房乔的事情又一次传开了。大多数人都觉得当今皇后真的是一位贤后，而在长孙无忌的家里，对这位皇后充满了抱怨。在长孙无忌表现的非常克制，说：“你们都给我闭嘴，你们的抱怨越多，越证明我想干政，再说皇后那么说也自有他的道理，毕竟从汉朝到现在那么多的外戚不是都倒了吗？”一位小妾说：“隋朝皇室不就是北周的外戚吗？”一听这话长孙无忌，紧张的冒出一身冷汗，说：“你要再胡说八道，我就让人割了你的舌头。”按说这个时候的房乔应该感受到一股春天般的温暖，然而事实上却不是那么回事。房乔的夫人卢氏，出自范阳卢氏，北方著名的名门大姓。这个女人张着自己的门第很高，所以表现的格外强势。在他看来，如果房乔一定需要一个人保护的话，那一定是她们老娘，而不是高高在上的皇后。好在皇后之前已经保护过魏征了，所以卢氏也没有嫉妒的太厉害。
这件事让房乔很受伤，自然也就萌生了隐退之意。于是在接下来的一段时间，他开始给底下的人交代后面的事情该如何处置。等他认为把这一系列的事情都处理妥当之后，便正式向皇上提出请辞之意，皇上脸色铁青，说：“你这个人实在是太可恶了，你还得振德皇后公开个朕对着干，现在连你自己都跳出来了。”房乔拱手说：“皇上说的没错，臣的德行原本不足以担当此大任，现在请求去职，臣想回自己的老家在母亲的膝下尽孝。”皇上说：“杜公说要改军制，你却想着要溜掉，两个人相比为什么反差这么大呢？”不出所料，房乔的请求被驳回了。不久之后，皇后派人安慰房乔，说：“房先生是朝廷的栋梁，若是栋梁被撤走，贞观朝就要塌了，请你务必留在朝中，本宫在一日便要保你一日，希望你能够用心而办差，不想其它。”又一次下朝，皇上回到后宫，俩人见面都显得有些尴尬。