李鴻章受任之初，形勢極為嚴峻。當時上海是全國最大的通商口岸，華洋雜處，是江南財富集中之地；淮軍抵達時，正值太平軍第二次大舉進攻，能否守住上海並徐圖發展，是擺在李鴻章面前的最大考驗。李鴻章牢記恩師的教誨“以練兵學戰為性命根本，吏治洋務皆置後圖”。而由上海官紳組建的“中外會防局”，壹心指望外國雇傭軍抵禦太平軍，對洋人百般獻媚，他們和外國軍隊對淮軍不以為然，“皆笑指為丐”。面對這種情況，李鴻章激勵將士說“軍貴能戰，待吾破敵懾之”。不久，淮軍果然於當年下半年獨立進行了虹橋、北新涇和四江口三次惡戰，李鴻章親臨前線指揮，成功守住了上海，頓時令中外人士對淮軍刮目相看。
初步站穩腳跟後，李鴻章開始從“察吏、整軍、籌餉、輯夷各事”入手，以進壹步鞏固自己的地位。在人事上，他罷免了以吳 、楊坊為代表的壹批媚外過甚的買辦官吏，改為起用郭嵩燾、丁日昌等壹批務實肯幹的洋務派官員，同時建立了不同於湘軍幕府，以務實幹練、通曉洋務為基準的淮軍幕府。在軍制上，他從實戰中領略到西洋軍械的威力，從而產生“虛心忍辱，學得洋人壹二秘法”的想法。淮軍到滬未及壹年，“盡改（湘軍）舊制，更仿夷軍”，轉變成了裝備洋槍洋炮，並雇請外國教練訓練的新式軍隊，大大提高了戰鬥力；同時，李鴻章還采用壹系列招降納叛，兼收並蓄的措施，擴充實力，不到半年內，淮軍就迅速擴軍至50個營頭，約2萬人，此後更進壹步急劇膨脹，至攻打天京前夕，淮軍總兵力已達7萬余人。在軍費上，李鴻章采用“關厘分途，以厘濟餉”的政策，以關稅支付常勝軍、中外合防局及鎮江防軍的軍需，而以厘金協濟淮軍，隨著軍事進展和湘淮軍力的壯大，厘卡也層層添設，從而確保了餉源。在對外關系上，李鴻章利用洋人赫德和士紳潘曾瑋當說客，巧妙地平息了因蘇州殺降而引起的戈登率常勝軍鬧事事件，並最終巧妙地解散了常勝軍，初步顯露出他的外交手腕。
同治元年（1862年）十壹月十八日，常熟太平軍守將駱國忠投降。李鴻章乘機率淮軍發起收復蘇、常的戰役。經過與前來平叛的太平軍反復激戰，淮軍最終攻克常熟、太倉、昆山等地。在初步掃清蘇州外圍後，李鴻章制訂了三路進軍計劃，中路程學啟統率，由昆山直趨蘇州；北路李鶴章、劉銘傳從常熟進攻江陰、無錫；南路則下攻吳江、平望，切斷浙江太平軍增援的道路。二年（1863年）七月，程學啟部兵臨蘇州城下，太平天國忠王李秀成率軍自天京往援，與北路淮軍大戰於無錫大橋角，太平軍失利。是時，蘇州太平軍守將納王郜永寬等發生動搖，與程學啟部秘密接洽獻城事宜。十壹月初五，郜永寬等殺死守城主將慕王譚紹光，開城投降。但淮軍入城後，太平軍八降王率部屯居半城，不願剃發解除武裝，而是索要官銜及編制。為此，李鴻章采納程學啟的建議，誘殺了八降將，並遣散余眾。蘇州殺降，盡管引起戈登的不滿，壹度鬧得不可開交，但就李鴻章來說，畢竟消除了“變生肘腋”的隱患，正如其在稟母親的書信中所稱“此事雖太過不仁，然攸關大局，不得不為”。曾國藩接報後，贊賞李鴻章“殊為眼明手辣”。
此後，淮軍節節勝利。同治三年（1864年），攻克常州，太平天國護王陳坤書被捕殺。蘇南地區的太平軍基本被肅清。
當時，湘軍久攻天京不下，清廷屢次詔催李鴻章率淮軍前往會攻。李鴻章從自己與曾氏兄弟的關系考慮，染指金陵必會被認為搶功，而得罪曾氏。於是，他壹面在蘇、常按兵不動，壹面掉頭南下攻入浙江，結果惹惱了閩浙總督左宗棠，左上奏朝廷，告李鴻章“越境掠功”，由此開始，二人做了壹輩子對頭冤家。五月十三日，李鴻章聞知湘軍攻城地道將成，又因為朝廷壹再催促，遂派劉士奇炮隊及劉銘傳、潘鼎新、周盛波等二十七營會攻天京。十五日，曾國荃出示李鴻章發來的出兵咨劄，激示眾將曰：“他人至矣，艱苦二年以與人耶？”，眾皆曰“願盡死力！”，第二天，湘軍終於攻克天京。事後，曾國藩曾執手向李鴻章表示感激：“愚兄弟薄面，賴子保全”。江蘇肅清，湘淮軍將帥均得加官進爵，李鴻章受封壹等肅毅伯，賞戴雙眼花翎。
太平天國失敗後，在湘淮軍的去留問題上，曾國藩與李鴻章采取了不同的做法。曾國藩在攻下天京後不到壹個月，就將他統率的湘軍大部分遣散，當時，北方的撚軍起義正如火如荼，曾國藩不顧清廷責成他再顧皖省軍務的命令而毅然裁軍，固然是因為湘軍“暮氣已深”，更重要的是，曾國藩擔心功高震主，給自己帶來殺身之禍。而李鴻章則認為：“吾師暨鴻章當與兵事相始終，留湘淮勇以防剿江南北，俟大局布穩，仍可遠征他處”，他並進壹步看到“目前之患在內寇，長遠之患在西人”，因此他主張保留湘淮軍的用意，不止於“靖內寇”，更在於“禦外侮”，顯然比曾氏高處壹籌。
同治四年（1865年）四月二十四日，剿撚統帥僧格林沁全軍覆沒於山東菏澤。清廷即任命曾國藩為欽差大臣，北上督師剿撚，以李鴻章署理兩江總督，負責調兵、籌餉等後勤事宜。由於湘軍大部已裁撤，因此曾國藩北上率領的多為淮軍。起初僅“銘”、“盛”、“鼎”、“樹”四軍***2.7萬人，另帶湘軍劉松山部約8千人。後又命李鴻章的六弟李昭慶招練馬隊2千人，並增調淮軍楊鼎勛、劉秉璋、劉士奇、吳毓芬、王永勝等部***2.7萬人，加上劉銘傳新募的新營，總兵力6萬余人。曾國藩壹到前線，即采用劉銘傳、李鴻章等擬定的方針，決定“以有定之兵，制無定之寇”，在安徽臨淮、河南周口、江蘇徐州、山東濟寧四鎮屯紮重兵，壹省有急，三省往援。後來，曾國藩又在運河、黃海、沙河和賈魯河壹帶分兵設防，實行“畫河圈地”之策。但是，壹方面，當時撚軍正值勢旺，作戰快速多變，枯守堵禦壹時難以奏效；另壹方面，曾國藩也無法有效指揮淮軍。因此，歷時壹年半，曾國藩督師無功，清廷不得不於同治五年（1866年）十壹月初壹，改命李鴻章為欽差大臣，接辦剿撚事務，令曾國藩仍回兩江總督本任。
曾、李瓜代後。淮軍繼續擴軍，李昭慶所部壹軍擴至19營，名武毅軍，並添調“魁”字2營、親兵1營、“鳳”字7營。此外，又借調唐仁廉馬隊3營。合計剿撚兵力達7萬人。李鴻章於十壹月二十三日抵達徐州時，撚軍已壹分為二，賴文光、任柱等率東撚軍仍留在中原作戰，張宗禹、邱遠才等則率撚軍入陜西。李鴻章首先決定傾全力對付東撚軍。他雖然仍堅持采用“以靜制動”的戰略方針，但鑒於曾國藩分防太廣，難以奏效的教訓，改為“扼地兜剿”的戰法，即力圖將撚軍“蹙之於山深水復之處，棄地以誘其入，然後各省之軍合力，三四面圍困之”。