四月上旬，太平天国先是派出右路北伐军二万二千五百人，从扬州境出军，绕过扬州城西的江北大营，直接经过扬州城东，杀向安幑和诃南。
紧接着，左路北伐军一万五千人，在朱锡锟、许宗扬和黄忠来三人率领下，从天京出发，也直接北上，齐路并进。但朱锡琨等在夜黑之下，走错路，误入六合县，却人生地不熟地为地方团练之敌勇所阻，半夜间还被点燃营中火药发生爆炸，全军崩溃，将士伤亡惨重，损失五千余人，连殿左十五指挥黄忠来也被炸死。
许宗扬率领四千余人返回天京复命，而朱锡锟率领剩下的五千太平兵，冲出六合境，来到安幑滁州，恰好碰到领着右路军的秦、吉、黄三人，于是，四人一起率左右两路北伐军，合兵一道，继续向北进军。
四月二十日，东王将春官正丞相胡以晄、夏官副丞相赖汉英以及殿左九指挥曾天养三人，叫至于身前。
曾天养跟随着胡以晄和赖汉英，来到东王府议事大厅。只见杨秀清已端坐在堂，旁边站立着一人，却是北王韦昌辉。
三人连忙低眉敛首依次入殿，跪倒在杨秀清面前三呼：“东王，九千岁，千岁千岁，千千岁！”
又见过北王韦昌辉：“北王六千岁，千岁千岁，千千岁！”
杨秀清让三人起身。
曾天养只觉一阵不舒服！
曾天养深目长髯，身材雄伟，如今虽然快六十岁，但仍旧剽悍绝伦，在太平军中，是员有名的骁将。
天国将士中，他年纪最大，当初看南王冯云山的面上，加入了拜上帝教。再后来，大家一起聚兵反清，在紫荆山区进行反清和传教活动，好不快活。
在当时拜上帝教众之中，他也算是一个头目。当初，还是他，与在平在山烧炭的杨秀清相识。他出面多次劝说，但杨秀清仍旧不肯加入拜上帝教，于是，他将之介绍给南王冯云山。而后，冯云山亲自出面，几番道理讲下来，杨秀清才带着几名烧炭工一道入教。
而当时，便在曾天养的手下。
从永安城开始，太平军中的规矩越来越大了，曾天养便开始觉得与天王东王有了隔膜，只是和南王仍旧如旧时兄弟般不变。再后来，冯云山屡次被东王西王打压，曾天养看在眼里，有心帮忙，但身份低微，却无能为力。
于是，当他得知冯云山在出了全州，要脱离太平军主力自立时，欣然表示要跟随冯云山。但，在曾观澜的一番劝说下，最后答应充当南王在太平军中的一名内应，为他探知消息，继续跟随太平军主力北上。
想到最近好久没给南王写信了，曾天养不由有些自责。
他抬头一看，东王头戴单龙单凤的圆规纱帽，黄缎袍上绣了八条黄龙，只比天王少了一条，黄缎鞋上绣了七条龙，也只比天王少了两条。他再看看，旁边的北王韦昌辉，缎袍上只有四龙。想起南王说的，天王和东王骨子里都是十分讲究等级之人，从未真正将太平军和普通百姓当成兄弟来看，如今一对照，果真如此啊！
杨秀清先是假意问候一句：“几个老兄弟，身体怎么样啊？”
胡以晄回道：“某还能上阵杀敌。”
赖汉英道：“托东王福，汉英尚且健康。”
曾天养却道：“我每天能吃五大碗，拉得却很少，看样子还不错。”
杨秀清有些纳闷，问掩口而笑的赖汉英道：“天养兄弟怎么扯到拉屎上去了？”
一旁的韦昌辉读过不少书，知道些典故，插话道：“他说的是古代老将廉颇的故事。”
见不识字的东王仍旧不明白的样子，赖汉英补充道：“以前战国末期，赵国有个著名的老将军，叫廉颇。有人诬指廉颇老了，不能上战场了，吃一顿饭便要出去拉三回屎。曾老爷子的意思是说，他还没到这地步。”
杨秀清听了，顿时冷哼一声：读过书又怎么样？还不是要听本王的！
不过，他面上却不会表现出来，只是清了清嗓子，带着几分得意，笑道：“如今虽然定都天京，但清妖未灭，天王和本王还是不能高枕无忧。本王已派左右两路天兵北伐中原，去捣毁清妖的巢穴。秦日纲和吉文元、黄文金他们干得不错。”
说完，他从桌上拿起一封信，说：“北伐右路军捷报频传。他们在浦口北上的第三天，就用大炮轰开了滁州城南门，杀了姓潘的知州。四月十二日，又破凤阳府城，十三日和十四日两天，接连攻破怀远和蒙城，一路所向披靡。”
赖汉英却道：“听说左三检点朱锡锟的左路军却不大顺利？”
“是有些小损失。”杨秀清道，“他们本来在六合县打了胜仗，可当夜营中失火，引爆了火药，殿左十五指挥黄忠来不幸阵亡，大半将士已随许宗扬返回天京，而朱锡锟率一部继续北上，已在滁州与右路军合兵。”
韦昌辉和胡以晄齐声道：“有东王的运筹帷幄，有顶天侯临阵指挥，攻破清妖巢穴的北伐之功指日可待。”
“天国还要西征。”杨秀清道，“眼下只有天京和镇江扬州之地，而且还被清妖的江南江北两座大营封锁，没有国土，百姓无法耕种。如今已经商讨定下西征之计，今日召集你们前来，便想将此重任托付给你们！”
韦昌辉点点头，附和道：“东王兄圣明！眼下清妖把兵力全用在江南、江北大营和堵截我北伐之师上面，整个长江上游的清妖空虚，正是我天国攻取的最佳时机。”
胡以晄问道：“是打两湖呢，还是安幑、茳西？”
杨秀清带着几分意气风发地道：“先攻安庆占皖南，同时分兵打南昌，卡住重镇九江，之后占领武昌。这些目标达成后，扩充兵力，本王也会从天京继续增派援兵，从安幑湖北境内支援北伐军，务必占领中原！同时，本王会择机出兵攻占整个江南一带，将两湖、两江之地和浙闽之地全部拿下。”
“只要江南一旦平定，天国的后方就稳固了。那时如顶天侯他们已打下清妖巢穴，则最好，倘若万一没打下来，本王也可奏明天王，倾天朝全部天兵，全力北伐，则天下可定。”
听完东王的战略计划，韦昌辉等人连忙齐声喊道：“东王宏图大略，清妖指日可破！”
不过，下一刻，曾天养却皱了下眉头。
杨秀清看见，便问道：“曾指挥，不知本王所说，哪里不妥？”
曾天养连忙告罪道：“东王并无不妥。老汉只是听说，如今糊南一带和福键的部分地区已经被两广的南王所占，若是我太平军前去攻取，不知会否引发矛盾？”
“哼，那南王只要一日未公开宣称脱离天国，便依旧是太平天国之南王！难不成，他还敢对我天国动手不成？”杨秀清摆摆手，接着道：“若是攻下安庆，胡以晃分兵驻守，向北发展，赖汉英、曾天养去打九江和南昌。本王已为你们备好一千艘战船。你们尽快出征吧。北王，你虽不出征，但要做好粮草后勤保障，亦是无比重要！若是除了差错，别怪本王不顾兄弟之情，拿你是问！”
韦昌辉和胡以晄、赖汉英、曾天养四人连忙齐声答应下来。
……..
四月二十五日，以夏官副丞相赖汉英为主将，春官正丞相胡以晄为副，率领殿右八指挥张子朋、殿左九指挥曾天养、典水匠唐正才等，领兵二万三千人，乘船千余艘，从天京出发，溯长江而上，开始西征。
至此，太平天国北伐西征两路大军分头进军，攻城掠地，天下震动。由于进军迅速，加上满清完全没有准备，硕多清廷地方官府瑟瑟发抖，小县城的守军更是望风而逃。
……..
四月底，北伐军攻克安幑毫州。
五月初一，北伐军攻克诃南归德府，杀死清军三千多，自损五百余人，招收降兵千余人。
次日，增援的清军来攻，再战，又杀死清军二千多名。
由此，北伐军经安幑，入诃南。
清廷闻讯，忙派御前大臣科尔沁郡王僧格林沁、步军统领左都御史花沙纳等督办北京巡防事宜，加强直隶京师地区的戒严。同时，咸丰皇帝任命新任都统胜保为钦差大臣，赶赴诃南阻截北伐军。
北伐军原本定在诃南归德府城西北四十余里的刘家口渡过黄河。
时清军已提前严密防河，把渡船和百姓的船只全部烧毁，北伐军到刘家口，找不到渡船，无法过河，便沿黄诃南岸往西进发。
五月十三日，在汜水口寻到近百艘船只，北伐军分成几批，全部抢渡过黄河，占温县，围怀庆却难以攻克，顿时相持起来。
而西征的太平军，在出征二十天后，便到达安庆城外。由于安庆几个月前，才被太平军攻占不久，守城清兵死得死，逃的逃，如今归拢的清兵并不是太多。见太平军来势汹汹地上千艘战船来攻，一下便四散奔逃。
五月十五日，赖汉英等西征军轻易地攻占没多少兵力防守的安庆城。
胡以晃和殿右八指挥张子朋分兵七千，驻守安庆城。而赖汉英和曾天养、唐正才，领着一万五千太平兵，乘船前往茳西腹地，准备攻取南昌城。一路连克彭泽、湖口、南康等地。
五月底，西征军前锋曾天养和唐正才两部六千太平兵，已经抵达南昌。但因强攻不能得手，乃一面围城，一面分攻附近州县以围困南昌城。
就这样，太平军的西征和北伐，两边战事都开始胶着起来。