正当大兴城内的建设在如火如荼进行之时，南方燃起了战火。开皇四年十二月杨坚任命杨素为行军元帅，收复西梁失地宜州，十二月上旬，杨素率水师三万余人自巴东郡东下三峡，与荆州总管宇文述相配合在长江上游发起攻势作战。陈国皇帝派大将戚欣率水师五万余人在天门郡（今湖北宜昌市）以遏隋军，这是自隋开皇元年后第一次与陈国正式开战。
天门郡本是西梁领土，西梁在江陵建都之后改宜都郡为宜州。后来由于萧岩叛乱，陈慧纪命大将戚欣率陈军占领了宜州之后又改宜州为天门郡。陈慧纪战败之后率部下逃至天门郡，戚欣将陈慧纪送回陈国都城健康。陈国皇帝免去陈慧纪大将军职务，拜戚欣为征西大将军，驻防天门郡。
杨素大军行军至流头滩(又名虎头滩，今湖北宜昌西北)，陈将戚欣率青龙战船百余艘、战士数千人坚守前方狼尾滩(今湖北宜昌西北长江中)，以遏隋军。狼尾滩地势险峭，水流湍急，易守难攻，隋军初战失利，两军处于胶着状态，将领们都忧心忡忡。
杨素道"诸位将领，虽然首战我军失利，但敌军也没有占到多大便宜，还望诸位不要灰心丧气。”
“元帅，不是我等灰心丧气，而是这狼尾滩地势险峭，水流湍急，易守难攻，末将怕明日出战再次失利，怕影响军中士气。不如我军暂返永安再作计议。”某将领道
“我大军前来就是要拿下天门郡，谁敢再言退兵，定斩不饶！”
“诺，还请元帅示下，我等无不从命！”众将领单膝跪地道
杨素踟蹰了半晌道“我军初战失利，陈军数量有多于我军，必然将我军不放在心上。如果我们白天与他们交战，他们就会看见我们，滩险水急，战船队形不易保持严整，那么我们就失去了有利的条件，想取胜是难上加难。”
“不知元帅可有何妙计？”又一将领出列道。
杨素看了此人一眼，原来是开府仪同三司王长袭，心道此人还真是识趣，知道给长官递话。
杨素清了清嗓子道“陈军初战胜利，防御松懈。本帅决定采用水陆协同，分进合击的方针，乘夜突袭，将其击败！成败在此一举，还望诸位紧密配合，速战速决，毕其功于一役！”
“谨遵元帅军令！”众将领齐声道。
三日后深夜，杨素率黄龙战船数千艘，令将士衔枚开进，实施正面突破;令开府仪同三司王长袭率步兵由长江南岸攻击戚欣别栅;令大将军宇文述率甲骑自江陵(今属湖北)西进，沿长江北岸进击陈军白沙(今宜昌东)要点。
隋军水陆配合，于次日拂晓，一举击败戚欣所部。戚欣仅率二十名亲兵逃走，部属全部被俘。杨素遵循杨广俘虏政策（杨广将对待俘虏的政策献给杨坚，杨坚欣然接受，传令各军严格遵守），不杀不辱，慰劳后全部释放，秋毫不犯，陈国人非常高兴，有一部分陈军想加入隋军，杨素欣然同意，同时心里不由得对杨广高看了一眼。
此战，杨素恰当选择进攻时机，以水军突袭与两岸步、骑兵协同攻击，速战速决，取得首战胜利，为灭陈战争发展创造了有利条件。实行优待俘虏政策，有利于争取更多的陈军将士。
狼尾滩(今湖北宜昌西北)之战后，杨素继续率水军顺江东下。陈国江夏大总管、征南将军周罗睺派南康内史吕忠肃率军屯守歧亭，在两岸岩石上凿孔，系三条铁索横截江面，阻遏隋军战船。为固守峡口，吕忠肃将自己私产全部捐出充军，所以陈军斗志颇高，防御也很严密。
开皇五年正月，杨素派王长袭部与大将军宇文述军部相配合，猛攻陈军岸上栅障营垒，吕忠肃率军据险抵抗，激战四十余次，隋军伤亡惨重，死五千余人。陈军尽割死者之鼻以邀功求赏，激起隋军愤怒，拚死力战，多次获胜。所俘陈军将士，杨素则全部释放。
在隋军猛烈攻击下，吕忠肃被迫放弃营栅，连夜逃走。杨素令士卒毁掉栏江铁索，继续沿江而下。吕忠肃退据荆门之延洲，依恃荆门山险要地形，再次阻遏隋军。杨素派善于驾舟的巴延士卒一千余人，乘五牙战舰，用舰上拍竿击碎陈战船十余艘，俘两千余人，再次大破吕忠肃军，吕忠肃只身逃走。
驻守江南岸安蜀城(今湖北宜都西北长江南岸)的陈国信州刺史顾觉，也弃城逃走，陈国公安郡郡守陆伦献城而降。杨素命屈突通率军入城驻守，骁果军入城，对城中百姓及乡绅秋毫不犯，对于库府资财，分文不取。城中的百姓和乡绅拍手称颂骁果军乃仁义之师，骁果军内的陈国降兵既感动又佩服。
隋军在长江上游作战获胜后，杨素率领水军继续东下，大小战船铺满了整了江面，旌旗盔甲在阳光下鲜艳耀眼。杨素端坐在平乘大船之上，容貌体魄雄健魁伟，陈国人望而生畏。二十日，杨素与大将军宇文述会师于巴州(今湖南岳阳市)，陈国巴州刺史晋熙王陈叔文见隋军来势汹汹，命人紧闭城门。
杨素派属下将士天天在城下骂阵，陈叔文气急败坏，命郡守樊通出城迎敌，樊通不到十个回合被宇文述斩于马下，陈军大乱。杨素亲率大军掩杀，陈军溃逃，隋军乘胜入城，俘陈国晋熙王陈叔文。
杨素军入城驻扎在巴州洞庭湖，命人建造五牙、黄龙等战船，训练兵卒，加强水师，作灭陈准备。宇文述率部下回军驻守江陵，防止周罗睺来个声东击西。
此战隋军收复西梁宜州、巴州等地，并占领了陈国的公安郡。此战，杨素、宇文述以水军、步兵相配合，先击破陈军江岸据点，再以水军战船接舷战，大破敌军。隋大型战舰五牙及重型拍竿装备在作战中显示了威力。优俘政策对瓦解陈军、配合军事进攻，具有积极作用。至此，长江上游为隋军所控制，阻止了上游陈军的东援，保障了下游主力的渡江作战。
战报传至大兴，杨坚大喜，晋封杨素为梁国公，邑三千户，赐物万段，粟万石，加以金宝。