两人离开济南骑马南下，马不停蹄走了十多天，就平安的到达了武汉，两人弃马登舟从水路向衡山出发。船行了一日，便入了洞庭湖，这洞庭湖号称“八百里洞庭”，是天下第二大湖，南接湘水、资水、沅水和澧水四大水系，北吞长江，水连天，天连水，碧波浩淼，气象万千，山川秀美，范仲淹在岳阳楼记里描述它“衔远山，吞长江，浩浩荡荡，横无际涯，朝晖夕阳，气象万千”。这洞庭湖旁有著名的岳阳楼，是东汉末年吴国的名将鲁肃所建检阅水军之楼，宋朝时期岳州的知州藤子京在民间筹集资金重修，使岳阳楼名扬天下，素有“洞庭天下水，岳阳天下秀”之誉。船进入洞庭湖之时正是早晨，只见一轮红日破云雾而出，整个湖面金光闪闪，远处渔帆点点，沙鸥翔疾，湖边平畴绿野，远处的君山形如螺髻，亭亭玉立，若隐若现于水雾之中。
船行了一日，便到了长沙城里，第二日又朔江而上，行了一日便到了衡山脚下。那阴阳秀才见杨聪已经安全到达了衡山，便乘船返回缴令了。这衡山是我国五岳名山之一，古称“南岳”，又称“寿岳”，我们常说的“寿比南山”即由此来。衡山山势雄奇秀美，景色优美，盘旋数百里，大小山峰共７２座，还有１０洞、３８泉、９潭、１５岩，素有“五岳独秀”之美称，古人曾描绘五岳的风姿为“恒山如行，泰山如坐，华山如立，嵩山如卧，衡山如飞”，古人叹其“欲见不见轻烟里”、“山矗天止，云起峰流”，这衡山以祝融峰、天柱峰、芙蓉峰、紫盖峰和石禀峰五座峰最著名。
祝融峰也是民间传说中的火神爷爷，也称南方大帝，这火神爷爷是黄帝身边有才干的大臣，主管南方事务，相传他死后葬在此峰上，因此取名祝融峰。衡山有四绝名扬天下，即祝融峰之高，方广寺之深，藏经殿之秀，水帘洞之奇，还有福严寺、南台寺等著名寺庙。衡山派乃是佛教禅宗南宗的祖源，武学也来自嵩山少林寺，以“般若掌”最著名，这般若掌拍出之时无声无息，飘然诡异，看似毫无力道，实际厉害无比，中掌之人五脏六腑皆碎，骨骼断裂，经脉俱断，属于阴柔一派的武功，最适合女子修炼。
衡山原是道教的胜地，传说南北朝时期有一个叫彗思的和尚，他来到衡山参拜岳神，为佛教谋求立足之地，岳神没有答应他的要求，两人就以下棋为赌，岳神说如果他输了，就给彗思一块地建寺院。下棋的结果是那彗思和尚赢了，岳神只好把天柱峰下的一块土地给彗思，建了福严寺。彗思和尚又向岳神要修路的地方，开始时岳神也不答应，后来彗思和尚说，我把自己的袈裟扔出去，只要袈裟荫蔽的地方，就做为出入的一线之地。岳神心想：你这袈裟有多大？于是便答应了他的要求，没想到彗思和尚精通法术，他念动咒语把袈裟抛上了天空，顿时那袈裟变成了一片浮云，乌天黑地的，把整个南岳的前山和后山都遮蔽了。岳神一看顿时慌了神，说：“你把山夺了去，那我住哪里呢？”彗思和尚指着岳神下棋坐的石鼓说：“石鼓所落之处，即尊神乔迁新居的宝地。”说着手指一点，那石鼓便滚下了山，停落在山下的空地上，从此岳神便搬到了今天的岳神大庙的地方，接受民间的朝拜。
衡山派创立之初，均是男僧，没有女子，后来因战乱不断，便逐渐有女子出家为尼，后来女尼渐渐占了大半。南宋时期，有一个叫灵缘的女尼，与一个叫灵空的僧人暗中有了私情，两人的私情被发现后，大大影响了衡山派的声誉，当时的主持静惠师太严厉地处治了两人，为了防止此类的丑事以后再发生，于是决定把所有的男僧人迁到了嵩山少林寺，衡山派只留下女尼，从此，衡山派便成了青一色的女尼静修之地了。