鹹豐十一年（1861年）3月，因李秀成拖延不至，一心挂念安慶之圍的陳玉成，最終無限惆怅地放棄了開辟湖北戰場，放棄了近在咫尺的武昌，率主力回援安慶。陳玉成撤出湖北後，“圍魏救趙（圍武昌，救安慶）”之策也隨之流産。

陳玉成從湖北撤軍，和李秀成的消極態度有很大關系。當陳玉成兵臨武昌、漢陽時，李秀成部還在江西境內徘徊觀望。由于李秀成一心只想保住他的蘇福省，只想經營富庶的江南地 ，對救援安慶不太感興趣，所以一直拖延，直到鹹豐十年（1860年）九月底才在洪秀全的一再催逼下從安徽太平府（今當塗）動身，一路東閃西躲，停停走走，沿途還強征壯丁入伍，招兵買馬，行動非常遲緩。

10月下旬，李秀成揮軍入安徽，攻破羊棧嶺逼近祁門湘軍老營，一遇到鮑超霆軍的阻擊便繞道南下婺源，又經江西玉山進入浙江常山， 留在浙江境內過年。直到鹹豐十一年（1861年）初才慢吞吞轉入江西境內。 李秀成督軍連攻江西廣豐、廣信二城，皆不克，旋即撤圍于正月27日進圍建昌。

李秀成圍攻建昌時，曾國藩感到很緊張，唯恐太平軍進攻兵力不足、防守空虛的江西省城南昌。然而，李秀成攻建昌、撫州皆不下，在樟樹渡江時又遭湘軍截擊而不成，轉而沿贛江南下，驚恐萬狀的曾國藩這才長籲了一口氣。

鹹豐十一年（1861年）3月10日，李秀成率軍在吉水渡過贛江，次日即攻占吉安，隨即沿江北上，進逼瑞州、臨江。

陳玉成

彼時從湖北返回的陳玉成已進入集賢關。李秀成攻取瑞州後沒有乘勢進攻九江，而是繞道義甯、武甯兵分兩路進入湖北，輕易放棄了配合陳玉成部救援安慶的絕好機會。

鹹豐十一年（1861年）5月，輾轉到達武漢地區的李秀成得知陳玉成已經撤出湖北折返安慶，又獲悉堂弟李世賢部在江西東北部被湘軍挫敗失利時，毫不猶豫從湖北撤出，東歸浙江。

圍武昌，救安慶本是正確決策，但由于李秀成不願放棄既得利益，加上陳玉成患得患失，結果半途而廢，安慶仍然被清軍重重圍困。

陳玉成入集賢關後，派吳定彩率千人入城助守，自己親自督軍與曾國荃部展開惡戰，苦戰3日都不能突破曾國荃精心構築的壕牆。短暫休整後，陳玉成再次揮兵猛攻湘軍壕牆，又血戰了3天仍無進展，4月10日，聽說湘軍猛將鮑超已率部逼近，遂留部將劉玱林率精兵四千扼守集賢關外赤崗嶺四座堡壘，留留兵八千守集賢關內及菱湖兩岸各壘，他自率五千馬步軍連夜出奔桐城，與幹王洪仁玕共商破敵之策。

鮑超率部趕到集賢關外，得知陳玉成已經撤走，立刻將劉玱林的四千孤軍團團包圍。隨後，曾國荃將菱湖兩岸的太平軍18壘圍住，切斷了他們與劉玱林的聯系。

鮑超

鮑超會合成大吉部萬余人馬晝夜猛攻赤崗嶺四壘，5月2日，第2、3、4壘被霆軍攻破，守將李仕福等3000將士全被俘殺。5月3日夜，劉玱林料到孤壘難守，于是率第1壘800人突圍而走，途中大部被俘。劉玱林等200人已經奪船離岸，又被湘軍水師炮船攔截，800將士無一幸存，全被斬殺。不久，菱湖18壘陸續被曾國荃攻破，8000守軍全部覆滅。

陳玉成犯了兵法大忌，將劉玱林的4000精銳置于孤懸危地是極大的失策。劉玱林部皆是兩廣老弟兄，身經百戰、實戰經驗豐富，是陳玉成麾下最能征善戰的中堅力量。陳玉成之所以東征西討，基本靠劉玱林之力 ，劉玱林全軍覆沒，不僅使陳玉成聲勢大衰， 也大措太平軍的銳氣，損失是無法彌補的。

陳玉成自桐城返回，在挂車河遭多隆阿部阻擊，屢突不破，受損頗重 ，只好率部撤返桐城。

陳玉成見無法突破多隆阿的挂車河陣地， 便會合洪仁玕、楊輔清、黃文金、林紹章部約5萬人馬出桐城往西繞道湖北，然後“由蕲州境折而下行”，入安徽後經宿松、石牌進抵集賢關外。次日，陳玉成即揮軍對曾國荃湘軍的外壕發起猛烈地進攻，攻擊持續了好幾日。

此時城中已經斷糧。陳玉成試圖用小船往城中運送糧食，但都爲湘軍水師戰船攔截或擊沉，就這樣安慶城內的軍民就只能扒樹皮、嚼草根充饑了。

曾國荃兵分兩路，一面抗拒陳玉成援軍，一面晝夜開挖地道，准備用炸藥破城；同時還不斷挖掘新壕，舊壕被攻破，新壕已成。太平軍雖然不顧傷亡前仆後繼，攻勢很猛，城內的守軍也發起攻擊，但始終不能打破湘軍的一道道壕牆。趙烈文在日記中轉述當時的激烈戰鬥場景時說：“前月中旬援賊至石牌，進紮集賢關，二十日、二十一日已刻撲東門外長壕，二十二日撲西北長壕，人持束草，蜂擁而至，擲草填壕，頃刻即滿。我開炮轟擊，每炮決血衢一道，賊進如故，前者僵仆，後者乘之。壕牆舊列之炮裝放不及，更密排輪放，調增排槍、鳥铳八百杆，殷 訇之聲如連珠不絕，賊死無算而進不已，積屍如山。路斷，賊分股曳去一層，複冒死沖突，直至二十三日寅刻， 連撲一十二次。......凡苦戰一日一夜，賊死者萬數千人，我軍死者百余人，用火藥十七萬斤，鉛子五十萬斤”。

曾國荃

盡管陳玉成部不懼犧牲，作戰勇猛異常，但湘軍畢竟做了充分的准備，糧彈充足，士氣也頗高，鹹豐十一年（1861年）8月1日， 曾國荃部轟倒北門城牆，越壕而入，城中守軍饑困不能舉刀槍，主將葉芸來以下16000人全部被殺。城內城外死于這場慘烈會戰的太平軍至少在三萬左右。

在此期間，李秀成一直屯兵江浙，始終未發一兵一卒入援安慶，更別說派兵增援浴血奮戰、損失慘重的陳玉成部，而是坐視安慶失陷、玉成敗走 。