李鸿章本人于三月十日随首批淮军抵沪，半月之后，被任命署理江苏巡抚，十月十二日实授，次年二月又兼署通商大臣，“从此隆隆直上”，开始了他在晚清政治舞台上纵横捭阖的四十年。
李鸿章受任之初，形势极为严峻。当时上海是全国最大的通商口岸，华洋杂处，是江南财富集中之地;淮军抵达时，正值太平军第二次大举进攻，能否守住上海并徐图发展，是摆在李鸿章面前的最大考验。李鸿章牢记恩师的教诲“以练兵学战为性命根本，吏治洋务皆置后图”。而由上海官绅组建的“中外会防局”，一心指望外国雇佣军抵御太平军，对洋人百般献媚，他们和外国军队对淮军不以为然，“皆笑指为丐”。面对这种情况，李鸿章激励将士说“军贵能战，待吾破敌慑之”。不久，淮军果然于当年下半年独立进行了虹桥、北新泾和四江口三次恶战，李鸿章亲临前线指挥，成功守住了上海，顿时令中外人士对淮军刮目相看。
初步站稳脚跟后，李鸿章开始从“察吏、整军、筹饷、辑夷各事”入手，以进一步巩固自己的地位。在人事上，他罢免了以吴 、杨坊为代表的一批媚外过甚的买办官吏，改为起用郭嵩焘、丁日昌等一批务实肯干的洋务派官员，同时建立了不同于湘军幕府，以务实干练、通晓洋务为基准的淮军幕府。在军制上，他从实战中领略到西洋军械的威力，从而产生“虚心忍辱，学得洋人一二秘法”的想法。淮军到沪未及一年，“尽改(湘军)旧制，更仿夷军”，转变成了装备洋枪洋炮，并雇请外国教练训练的新式军队，大大提高了战斗力;同时，李鸿章还采用一系列招降纳叛，兼收并蓄的措施，扩充实力，不到半年内，淮军就迅速扩军至50个营头，约2万人，此后更进一步急剧膨胀，至攻打天京前夕，淮军总兵力已达7万余人。在军费上，李鸿章采用“关厘分途，以厘济饷”的政策，以关税支付常胜军、中外合防局及镇江防军的军需，而以厘金协济淮军，随着军事进展和湘淮军力的壮大，厘卡也层层添设，从而确保了饷源。在对外关系上，李鸿章利用洋人赫德和士绅潘曾玮当说客，巧妙地平息了因苏州杀降而引起的戈登率常胜军闹事事件，并最终巧妙地解散了常胜军，初步显露出他的外交手腕。