故友来访
程据见他如此，以为他装糊涂，便有不悦，索性坦言道：“安仁兄何必如此，你我是一样的人，何不坦诚相见？京中凡见年轻美貌男子，皆被抓去为她做药，你我之流，皆非凡品，与她交好，你却不需在我面前遮掩。”
潘岳听闻京中失踪案件果然因此而起，便又问道：“那些作药男子，现在何处？”
程据倒奇了，道：“莫非你真是不知？即是药，药用完，便只剩药渣，留着没用，自然是如药渣一般处理。”见潘岳面色不对，又道：“你我皆是她极宠之人，却是不用担心。若往后……”潘岳见程据边说时脸上神色却是得意非凡，他虽然长得白皙俊美，然此神情说出此无耻之话，便犹如丑陋至极一般，见他还待要说，不知他还会说出如何不堪言语，打断了他话道：“你不必再说，听你刚才话中之意，全然不懂君臣尊卑，礼仪廉耻八字。我与你再无话好说。”说毕，不顾程据被他突然这无礼举动恼怒到脸色酱紫，拂袖而去，自去客府伺候太子、太子妃，又问他们何时动身回宫。
贾南风便笑道：“你不用催，我见你这景色好，正想多留几日。”
潘岳便吓一跳，忙道若得如此是他尊荣，只是有不妥处。
贾南风问怎么不妥
潘岳回道因最近治安不大好，流民作乱，太子、太子妃若有个万一，粉身碎骨也担待不起。
贾南风便笑，道是跟他玩笑，要他不必着急，却也遂他心意，果然一早上路，潘岳一路送回京中，返回后便修下陈情书，随便列了些身体不适之类的理由，请求辞去河阳令一职。
自从潘岳修下陈情辞呈上呈，却是一直没有消息，也不知准还是不准。这日傍晚，有车马而来，潘岳迎了，车里却是傅咸，傅咸未及下车又道：“给你带来一个贵客，你如何谢我？”车里又有一人露头，虽是须发已见掺白，脸上添出几条皱纹，却一眼认出正是多年不见的裴楷，潘岳大喜，行过礼迎进奉茶。裴楷自从立嗣一事平定，便即回京任了侍中。只是与潘岳这一别又是数年，此时相见，自也是高兴。
因裴楷将与卫瓘成儿女亲家，潘岳便是道喜，待裴楷、傅咸略作休息，饮过茶后，便掌了灯烛，另备酒菜。傅咸说起潘岳请辞一事，道是被他压下，却是不予批准，傅咸乃御史中承，专职考评弹骇官员，为官清正，从不偏私。知河阳潘令之名清誉甚著，朝野尽知，因此不准，只道：“你若有事换个官职容易，若要我免你官职，对君对民都无法交待。我却无法办到。”
潘岳想了一想，便道：“如是这样，自然更好，多谢你相助。”
裴楷令随从取来一金制方盒，道：“所以我来，带来这一物事。”打开盒时，却是一卷绢轴，缓缓打开，俱是地理图形，山脉河川，城郊县村俱皆标识。
潘岳早知何物，因此观赏，问道：“莫非这便是令族兄裴司空当年所做的‘禹贡地域图’？”
裴楷道一声正是。
当年，这精研地理学，掌握国家地理职务的裴秀皆与潘岳祖父潘瑾和先父潘芘交好，潘岳以前常听先父称赞，道是裴秀地理学识无人能及，名山大川皆在胸中，又自创制图六体，从六个角度全面详细地总结了绘制地图的主要方法。这‘禹贡地域图’便是裴秀生前率人所制，以十里为一分，百里为一寸的比例缩小制图。十分完备精详。潘岳早闻其名，只是这卷地图被当朝作为重要资料一直深藏于秘府，因此不得一见。如今被裴楷带出，自是免不了要认真观赏一番。一时在地图之上找到荆州，扬州等地，便是十分惊奇赞叹。
傅咸便道：“你先别赞，今日一则，咱们今晚便把酒共赏这地图，二则，你便从中选个处所到任。”
潘岳只道一声唐突，也不推辞，看了地图，只捡远离洛阳之处道不敢挑捡，何处有缺皆行。傅咸、裴楷知潘岳辞官之因太过敷衍，知道内中必有隐情，因此此次带了地图，是有备而来。又见他所指处不论偏远贫富，只是远离洛阳，裴楷便只笑道：“如今立嗣之争平息，朝中暂得太平，我由外调回，安仁你却是为了避的什么？”
潘岳便道了一声惭愧，道正是无意间惹了一祸事。
裴楷知太子、太子妃刚到过河阳，隐约猜着此事与他们有关，便道：“能先料着远避，便好，又何必惭愧？”却是笑一笑，又道“不怕得罪，安仁你年少长成时，才、貌皆与常人不同，皆极易招忌惹祸之事，我心里早已预算你这一生恐怕会多历坎坷，不会太过平坦。谁知时过境迁，二十余年过去，如今我须发已然发白，逢此乱世之中你却过得亦算安顺稳定，又有美名传世，竟是出乎我当初所预料，只因你聪慧，皆被你化解。”裴楷与潘岳认识二十余年，从来便是出自内心欣赏潘岳之才，品，数十年来皆如此。到如今都未改变。年青时的文友，这些年来因王衍近贾南风，王戎在荆州因敛财，私建园林被免职，后用钱财买通入京任职吏部，他与王衍同族，裴楷远贾南风，因此与王衍王戎因政见不合已渐渐行远。只有潘岳可能是未涉政治，因此与他们却是未曾改变，交好如初。
潘岳倒没想裴楷有这心，这是头回听说，只道：“人生漫长，世事变幻如棋，诸事不由人，谁又知后事如何？但求尽心力，听天命而已。”
当晚留宿，待得裴楷、傅咸返回后，知道潘岳心意，便使潘岳任职怀县，却是一远离京城的偏远所在。到任令下了，潘岳虽也有些不舍，自是另觉有一种远离的轻松之感。又向母亲请罪，道是令她操劳。母亲反道只要他好好为官，母亲并无操劳处。
这日便要离县远行，车马都已备好，行李收拾妥当，潘岳当年两乘车马而来，如今两乘车马而去，等杨研再逐一掩了门窗，略显伤感时，却见有才跑进来道是，乡民都来围观，水泄不通。潘岳不愿杨研等人有离愁之感，只笑道司空见惯，有才便道与以前不同，道是以前围观潘岳都笑，今日乡民都哭。一时出来，果然密密麻麻都是百姓夹道而泣。原来百姓敬爱不舍潘岳，扶老携幼尽皆出门来送，道是逢此世道，有此父母官能得他们生前衣食周全，生活安顺，一家团圆，死后也觉心足。更多有跪地者，搀扶不起。令人动容，车马无法行进，只能徒步于人群花树间穿行，一众百姓远远送出，久劝不回。虽是缓慢，却也渐行渐远，人群渐散，走得远了，潘岳不禁回首转身，只见天色一片青蓝无边，中间满眼绯红桃花无垠，林间久久不散的百姓无数。从百姓眼里看来，只见他一袭青衫，立于青天之下，桃树之侧，衣带当风，落英缤纷，美比诗画，胜似神仙。
潘岳到了怀县数年，依旧勤于政事，且又断案聪明，又有陶侃亦来相助，因此亦是有清誉之名，颇有政绩。