刘毅等继续行军，顺利攻下巴陵，并斩杀了王稚徽。桓谦得信后向桓振言道“晋军已近，我来守城，你速速带兵前去抵挡，我方军士素服你之武勇，一定能够破敌。”桓振一直就看不起桓谦，认为其缺乏用兵智略，不听从他的建议，说道“江陵乃我方军士的家乡根本所在，我等固守江陵城，兵士定能死战，不宜远离城池求战。”桓谦固请不已，桓振便派他带兵千余去马头防守，桓蔚带兵千余驻守龙泉。何无忌刘毅此时兵力已有万余，轻松击破这两处据点，但桓谦与桓蔚却得以逃走。
何无忌欲乘胜直趋江陵，刘道规劝阻道“兵法进退有时，不可数进。我兵接连战斗，疲劳已甚。桓氏世居西楚，群辈为家乡皆愿出死力，那桓振又勇冠三军。我们此时需息兵养锐，缓图进取，不忧不克。”无忌言道“此言并无道理。我吴地精兵连战皆捷，正应乘此连胜之势一举攻克，更何况如今我众敌寡，败敌甚易。”无忌不听道规之言，而刘毅也赞成无忌，于是就带兵径行前往江陵。
两军在灵溪对阵。桓振亲将，率骑直冲何无忌中坚，挥戟扫荡，所向披靡。无忌等靠着优势兵力顽强抵挡。正自激战之际，又有一支部队从晋军斜后方插了进来，是桓振事先安排好的冯该率领的数百骑兵队。这下晋军在夹击下开始不支，败下阵来。无忌等开始后退，桓振纵马直追无忌，眼看着戟尖就要挨着了。幸好刘道规发现危情后及时赶来，一枪拨开，救了无忌，力战桓振。无忌也掉转马头帮助道规。桓振力战二将竟然丝毫不落下风。道规心想如今不是恋战之时，向无忌使了个眼色，两人同时出枪一左一右夹刺桓振，桓振慌忙左隔右挡。两人趁此回马便逃，桓振也不敢追。无忌、道规与刘毅收合余军，整众而退。此战晋军死亡人数有一千多人。晋军退至寻阳城，再做下一步打算。
再说柳约之与罗述进军至枝江，听闻无忌败信，知江陵城难以力取，便想去诈降，趁机刺杀桓振。于是他们便派出一使者去桓振那里，说柳约之欲带军降于桓振，桓振一口答应了下来。使者走后，桓谦说到“受降如受敌。我看那使者神色慌张，怕是有诈。”桓振回道“我也有所怀疑。怕他做甚，我带军前去杀了他们便是”桓谦说“若兴师动众的话，他们知诈降不成定然会退走，我们将一无所获。依我之见，我们可约定一地点相见，我们军中正巧有一人相貌跟你很像，可使其冒充你前去赴约。我们在附近设伏。如若有变，立即擒杀。”“叔父此计甚妙”。于是桓振就派去使者去柳约之军中定约。
第二日清晨，双方各带十数名兵士前往赴约。见面后，柳约之言道“久仰将军威名，今日得见，甚慰平生。敢请将军前往军营一观。”当下三骑并行，柳约之，罗述突然抽剑，交刺其胸背，假桓振倒下。假桓振所带十余名兵士匆忙展开战斗，这时埋伏于近处的桓振兵士听闻兵刃交接声，迅速前往，将柳约之等团团围住。不到一刻钟的时间，柳约之与罗述均被桓振斩杀。桓振心想不如趁此挫杀敌军一阵，就带着部队前往寻战。柳约之所留统军时延祖见他们久久不来，心知有变，又见远方尘土大起，心知不妙，迅速整众而退，桓振追之不及。
柳约之虽然失败，不过不久后，毛璩却攻下了汉中，将桓希斩首。南阳太守鲁宗之也攻克了桓蔚镇守的襄阳，桓蔚逃走。
何无忌刘道规等于寻阳城修船聚粮，秣马厉兵，数月后士气复振，刘裕从兄刘怀肃亦来相助，刘怀肃即为刘裕乳母之子。十月，大军再次西上，进至夏口。桓振派冯该守东岸偃月垒，桓仙客守西岸鲁山城，孟山图领水军出战。三军众合万人，水陆相援。刘毅与敌兵力相当，将士锐气正锋，即刻决战。刘毅进攻鲁山城，道规与刘怀肃进攻偃月垒，无忌水战。激战大半个上午，正午时分三处敌军尽皆溃败，冯该逃走，孟山图与桓仙客被生擒。
405年春正月，刘毅诸军进至马头，直逼江陵。桓氏地盘至此所剩无几。桓振着了慌，派出使者带书信去请降，信中写到“臣桓振将奉送天子，桓氏世居西楚，还请赐江州荆州地予桓氏镇守。”可是刘毅不答应，对使者言道“归语桓振，见机的话，自己带天子前来谢罪，或可免除一死。不然的话，桓氏赤族便在眼前！”使者回报后桓振大怒，准备决一死战。当时鲁宗之亦兵临江陵，桓振决定先出城击破鲁宗之，留桓谦与冯该守城。桓谦劝阻道“对付刘毅大军才是重中之重，你若去战鲁宗之，刘毅来到怎么办？”桓振言道“鲁宗之已近，刘毅尚未到达。我先去破了宗之，回来再战刘毅不迟。若让他们两军会和，更难击败。”于是桓振领兵去战宗之。
此时刘毅大军已到城下，冯该想出城迎战，桓谦不许“我们需要固守城池，等桓振回来。若出城战败，大势去矣。”冯该不听，自带己众出城迎战，一战而败，全军覆没，自己和儿子冯山靖都被刘怀肃于阵挑杀。刘毅大军围城急攻，桓谦弃城而逃，后与桓蔚、何澹之等投奔后秦，江陵城重新归晋。
先前刘敬宣听闻刘裕京口起兵后便与司马休之从南燕回来投奔刘裕。桑落洲之战时，刘敬宣到达历阳，正值桓玄侄子桓歆前来攻击历阳城，敬宣便与刘钟、诸葛长民出击败之，敬宣阵斩桓歆大将杨秋。此时敬宣与司马休之也在军中，司马德宗认为江陵重镇，想让自己族人来守，于是便让司马休之做了荆州刺史，驻守江陵，刘毅与道规返至夏口驻军，而无忌则奉帝东还建康。