桓玄此时还有亲信千余人，得败讯后赶忙令殷仲文在石头城备船，自己立即动身前往石头城准备沿水路逃走。这时胡藩牵住桓玄的马进言道，“主公，我们这千余人世受桓大司马之恩，无以为报，今日形势危急，必能为桓氏一战。贼裕历经三战精力已竭，况且他们现在盲目追敌，方寸已乱。我们若奋力反击，定能反败为胜。若舍此不战，退又能退到哪里呢？”桓玄指天不语，甩开胡藩，去派人接来妻子家人。当时刘灵玉正奏广陵散，调声高亢，戈矛气息交纵，指法转急，忽然第七根弦断开，暗思必有事发生时，桓玄所派之人赶到。
桓玄带一众亲信上船，浮江南走。此时的他悲惧交加，连日滴水不进。桓玄的小儿子桓昇才五岁，却很是懂事，将粥端至父亲跟前“父亲，你多少要吃点啊。饿了会很难受的，身子也受不了。”桓玄这才勉强进餐。睡前，桓昇又给桓玄捶背。桓玄抚摸着儿子的头，说道“我的乖儿子，为父对不住你，让你跟着受苦了。”“孩儿愿一直都陪在父亲身边。”有儿子的陪伴，桓玄才稍感安慰，夜晚听着波涛声，看着寥落星辰，慢慢睡了。
刘裕顺利进入建康城。时东晋朝政宽驰，纲纪不立，豪族欺凌，小民穷困。刘穆之做刘裕主簿后，裕托以腹心，小大事情都咨询他，穆之也竭节尽诚，无所遗隐。斟酌时宜，随方矫正纲纪。而刘裕则以身作范，先以威禁，百官肃然奉职。很快，上下风俗一变，官民安然。
刁逵逼问诸葛长民，得知反抗桓玄之事后便将长民押入槛车，把其送往建康桓玄处。长民之弟诸葛黎民暗中打听到此消息，带十余名壮士于其必经之路在暗中埋伏。槛车经过时，把押送之人杀掉，解救出了长民。不久，又传来了桓玄败逃的喜讯。于是长民兄弟号召民人来反攻，进入历阳城，活捉刁逵，押送给刘裕。刘裕见后笑道“哈哈，庄家。我的老朋友，好久不见。我们今番再赌一把如何？就赌你的命！你赌活还是死啊？”“哼，你个奴才！挟私报复是吧。就恨当日把你抽得不够重。”刘裕也不生气，说道“当时是我错在年少轻狂，你鞭打之事我不再计较。只是你引诱良人入赌，趁机倾败人家的田产。害民无数。这我岂能饶你？”刁逵叹道“就知道你不会放过我。没想到你个混蛋也有今天，该我命绝！”言后刘裕就派人将他杀了。
桓玄西逃至寻阳，镇守于此的郭昶之非但不趁机将他拿下，反倒资助给他兵力、器用。郭昶之曾担任禁卫军将领多年，竟于此际还倾向桓氏，这让刘裕等人很是惊愕。桓玄让郭昶之守住湓口，自己挟持着皇帝继续西逃。刘裕看建康尚未安稳，便留了下来。这时刘道规带领广陵兵士渡江来到，刘裕大喜“吾弟到来，桓玄亡无日矣！”就让刘道规与何无忌、刘毅等去追敌。桓玄为保住湓口，让自己的江夏太守带三千人与何澹之东下共守湓口。这时他又巧遇胡藩，在覆舟山败后，胡藩与桓玄失散，胡藩一直追寻桓玄，终于遇到了，桓玄就派胡藩帮助镇守湓口。
四月末桓玄带帝逃回到江陵。这时无忌刘道规已带军进至桑落洲，何澹之前来迎战。澹之所领水军，舳舻相连横跨两岸，纵横不见其际。旌旗蔽空，顺风飘展。敌众我寡，晋军将士皆有惧色。何无忌镇定的说道“将士们，贼玄已经败逃，所剩不过是些虾兵蟹将，徒有其众，实是不堪一击。我等奋力，破之不难。”
两军距离越来越近，敌方有一舰高出其他船丈余，旗帜鲜明，仪仗华盛。无忌言道“胆小鼠辈，必不敢故意暴露自己位置，一定是想诈我。我们不妨将计就计，把它攻下！”诸将士多持异意，刘毅说：“澹之一定不在此船，攻下也起不到多大作用。“只有刘道规不发一言。无忌望了道规一眼后说：“澹之既不在此，此船战士必弱，我以劲兵攻之，定能攻下。攻下后，我们传言已得贼帅，众贼疑惑而惧，我军士气大增，攻之必克！“道规此时大喜说道：“真乃名计也！“于是无忌就带领数船直冲此舰。果然舰上敌军不堪一击，无忌之船靠近后，挥剑斩断数根枪戟，力杀几名敌兵，亲自带众登上敌船。攻占敌船后，令军士们大喊“哈哈，何澹之已经被活捉！”晋军近处船只听后士气大奋，也都纷纷传道“活捉了何澹之！”何澹之所将军士很多信以为真，惊慌了起来。而何澹之胆惧，更不敢向己军说明自己仍在，怕暴露了自己的位置。
无忌道规等趁势领军疾攻，敌军大败。为晋军所杀者、落水者不可胜数，鲜血染红了江水，在夕阳的光照下，更增其惨。何澹之于乱中被一流矢所伤，仓促带领数船逃亡。郭昶之逃亡之船急驶中触礁，慌忙上岸，被晋军追及剁成了肉酱。敌军船毁无数，落水者纷纷攀船欲要逃走，奈何船少兵多不堪承载，船将倾覆之际，船上兵士开始将刀挥向攀船同胞，船上的手指多得难以清数，更多的手指又落入了江中。哀嚎呼痛之声久久回响在江面。
胡藩当时带领数只船且占且退，来掩护己方撤退船只。晋追军紧逼，胡藩被包围，与其前军远离，身旁军士一个个都被杀掉。胡藩见势不支，砍杀几名跳到自己船上的晋兵后跳入江中。晋军好久没见他露出，都以为他自杀了，也就不再去管。他们岂知那胡藩素有勇力，又善潜水，胡藩披着重铠在水中潜行了百余步，最终得以登岸，藏身于草丛中，准备等夜晚来临后逃走。
晋军开始收军。忽然有人听道岸旁草丛中有人发出喷嚏声。数名军士循声赶忙去搜察。军士们持枪拨草前探，现出一将，正是胡藩。胡藩上岸后隐藏的时间久了，水分蒸发带走了大部分身上热量，再经风一吹，实在是太冷了，没忍住打了个喷嚏，身上也没了半点力气，只能束手待擒。就这样他被押送给了刘裕。
刘裕见后调侃道“听桓玄称你为‘陆上之猛虎，水中之蛟龙’，勇猛如此也有被困之时吗？”胡藩大喝道“要杀便杀，羞辱何为？当初主公若听我言，与你一战，恐怕你的头早已被我斩落了！”刘裕部下按剑向前喝到“放肆”。刘裕斥道“退下！”，继而向胡藩言道“听闻将军忠义，可否留在我府中，做一领军，帮我平定四海如何？”“我为桓氏之将，若转投于你怎对得起忠义二字？”刘裕说道“将军此言差矣。桓玄篡晋，乃是国贼。你虽受桓氏之恩，但需明大义，做贼之臣子岂得为忠？况且如今桓玄死期将至，我就是放了你，你还能投奔于谁呢？”
一番话让胡藩有些心动，正考虑时，刘裕忽然说道“你不愿就算了，我不忍杀你，你走吧！”让部下为其松绑，“放了他，任何人不得阻拦！”部下说道“主公，此人实是桓玄账下一厉害角色，若放虎归山，怕有后患啊!”刘裕不听。待胡藩走后些时，刘裕对部下微笑着说道“他一定会回来的！”果如其言，不到半个时辰的时间，胡藩就回来了。刘裕与其握手谈兵，甚是欣慰。