1894年7月25日，日本军舰在丰岛海面不宣而战，突然袭击击沉中国运兵船“高升”号。消息传来之时，李鸿章知道命运躲不过了，战争不可避免地爆发了。8月1日，中日两国政府同时宣战，甲午战争正式爆发。李鸿章被任命为清军的最高统帅。第二天，圣旨又下，李鸿章被暂停穿黄马褂和戴三眼翎的资格，最高统帅的位置不变。朝廷这一举措，可以看作是对李鸿章前一段工作的不满，也是对李鸿章的警示和激励，希望李鸿章振作起来，在战争进程中有一个良好表现，以重新取得穿黄马褂的殊荣。
战争从一开始就朝着李鸿章最不愿看到的局面直转而下。因为准备仓促，战争自开局时起就陷入了被动。李鸿章曾数次致电刘铭传，让他出任前线主帅，但刘铭传以身体状况为由，拒绝了李鸿章的安排。刘铭传的不愿担当，使得清军在前线一直没有主帅，各部队之间缺乏统一调度。9月15日，平壤之战打响，双方分别投入约17000兵力，分大同江南岸、平壤玄武门外、平壤城西南3个战场展开厮杀。清军在平壤与日军激战数昼夜后溃败，总兵左宝贵战死，李鸿章的淮军旧部、统帅叶志超贪生怕死，下令停止抵抗，全面撤退。日本占领朝鲜全境。当叶志超和他的部队在6天内狂奔500里，渡鸭绿江回国时，后方指挥战斗的李鸿章竟一直得不到确切情报，更谈不上及时阻止和指挥了。当光绪询问战事进展时，一无所知的李鸿章不得不跟光绪打起了马虎眼，说叶志超在牙山一带打死了日军1000多人。当李鸿章随后得到叶志超逃跑的消息后，大惊失色，严令叶志超不准再退，否则军法从事。
接下来对李鸿章最大的打击就是“黄海大战”了。9月17日，中日海军主力在黄海大东沟附近海域遭遇，双方摆开阵势，展开决战；北洋舰队投入战舰10艘，日本战舰投入12艘。战斗持续5个小时，结果清国军舰沉没4艘。北洋水师致远号管带邓汝昌负伤力战，致远号在遭受重创的情况下，开足马力，力图撞沉日方先锋舰吉野号，不幸中敌鱼雷，随全舰绝大部分官兵牺牲。经远号管带林永升、定远号管带刘步蟾、镇远号管带林泰曾皆奋力苦战，重创日旗舰松岛号。
“黄海大战”的战败，使得清国丧失了制海权，在这场立体的战争中，已呈颓势。紧接着，清军在鸭绿江、九连城等战场与日军接连激烈交战，终未能挡住日军的攻势。日军以摧枯拉朽的方式进入中国境内。
东北此时已进入严寒的冬天，这一年的冬天，天降大雪，滴水成冰。在东北，空气中散发着雪的凛冽，也散发着血的腥味，整个战场遍布着绝望。11月5日，日军进攻金州，驻守金州的清军将领徐邦道向驻守大连的守将赵怀业请求援助，但此时，赵怀业早就逃得没有人影。恼怒的李鸿章在得知情况后，命令刘盛休部和晋军提督程之伟部火速赶往大连。刘盛休的回答则是：部队的枪支弹药在鸭绿江边都丢失了，无法上阵；晋军程之伟部传来的消息则是：为防腹背受敌，部队已主动撤退。李鸿章气急败坏，他在给前方将领的信札中大发雷霆，如果战争再失败，就让他们“投海自尽”。
11月7日，大连陷落。在大连，日本军队获取了大量的军需物资，包括621支枪、129门大炮、3300万余发枪弹、250万发炮弹。黄昏时分，城内漫天大火，风雪之中日军把中国百姓不分老幼赶到城外进行报复性屠杀，鲜血将护城河上的薄冰融化。同一天，60岁的慈禧在紫禁城庆祝她的“万寿吉日”。后来，内务府的账本上记载着为慈禧过生日所花费的银两，总共在1000万两白银之上。
那一天早晨，慈禧心情无比之好，她身穿缀满珠宝的礼服，显得华美雍容，青春焕发。韶乐声中，皇帝、皇后以及文武百官分别行跪拜大礼。李鸿章没有参加这样的盛典，仍在天津指挥着前方战事，那一天，李鸿章心急如焚焦头烂额，24小时内竟发了16封电报！
慈禧太后的生日庆典达到高潮的时候，旅顺紧跟着大连陷落。4天之内，日本军队开始全面屠城。几天后美国报纸报道说，这4天中，日军共杀害了约6万名非战斗人员，包括妇女和儿童，只留下36名男子，为的是掩埋尸体。
1895年1月30日，已登陆集结完毕的25000名日本陆军，向驻扎在威海卫南帮炮台的3000名清守军发动攻击。清国守军英勇抵抗，在战斗中，日军一少将阵亡。南帮炮台沦陷。2月初，威海陆地全部失陷后，日军从水陆两路进攻刘公岛、威海港内的26艘北洋舰队。丁汝昌坐镇刘公岛，殊死抵抗，先后击退敌8次进攻。旗舰“定远号”中敌鱼雷搁浅，在刘步蟾的指挥下仍旧还击，弹药告罄后自炸战舰而亡。丁汝昌誓死不降，被胁迫软禁，服毒自尽。继任者“镇远号”管带杨用霖以自杀拒降……那一段喋血的日子充满着悲壮，也充满着忧伤，对于李鸿章来说，仿佛世界末日将要来临。威海卫的陷落对于清国来说是一次毁灭性的打击，山东去北京的道路已经门户洞开，日本从东北和山东两路，对北京形成包围之势。清国万般无奈，提出了和平倡议。斡旋期间，战事仍继续在山东和东北两地进行。
2月下半月，清军在宋庆等将领的率领下，在海城与日军进行了激烈的争战，但还是没有控制住战争的局面，日军仍向华北腹地接近。情势已危急到京城，虽然朝廷集结了20万左右的人屯聚在直隶北部，但北京的失陷，看起来不可避免。
在甲午战争中，可以说，受打击最大的，就是李鸿章了。战场的主力，几乎都是李鸿章的淮军嫡系。那段时间，李鸿章不时地听到传来一个又一个晴天霹雳。这种莫名其妙的溃败方式，让李鸿章比谁都苦涩，比谁都委屈，也比谁都愤懑。他的朋友吴汝纶曾经回忆说：“平壤之败，李相国痛哭流涕，彻夜不寐……及旅顺失守，愤不欲生。”甲午战争结束，李鸿章就像一个身败名裂的赌徒，将自己所有的家当和名声输得干干净净。
甲午战争为什么会失败？现在总结起来，当然能找到很多原因，比如说制度和职责上的含混不清。清国君主帝制徒有其表，在调动和掌控全局上力不从心，它甚至无法调动整个国家的力量来与另一个国家对抗。甲午战争是中国与日本国与国之间的战争，但这个现代战争的指挥却落在李鸿章这样一个省级官吏的肩膀上，整个甲午战争就像是李鸿章在以他直隶和北洋水师的力量与日本举国军队作战。但最根本的，应该是国力原因，腐朽呆板的大清王朝不仅仅在国力上已落后于日本，而且在整个气韵上也呈垂垂暮气。相反，对手日本在经过明治维新之后，学习了西方很多的科技和管理，不仅仅在国力上得到了很大的提升，而且整个国家也呈现出巨大的朝气，新的国民们以国家之事为己任，将自己的一切与国家的沉浮紧密地联系在一起，这样的方式，使得这个新兴的国家有着一种令人生畏的原动力。与此同时，日本政府和国民在思维方式以及理解能力上有了质的飞跃，科学和理性的思维方式占据了主流，整个国家的效能得到很大程度的提高。
从军队本身来说，当时日本军队中那种来源于西方的精制而周密的准备、缜密的思考方式可以说是在当时的中国军队中所鲜见的，在日本军队中，已使用了西方军事当中的战法与阵法。这样的阵法与新式武器结合紧密，力量是巨大的。虽然李鸿章的淮军也是一支久经沙场的常胜军，曾经以剽悍的作风击败过太平军以及捻军，而北洋水师也沿用了西方军事的一些训练并且聘请了外国军事顾问，但在淮军中，那种理性而缜密的思维方式并没有深入人心，有的只是一些皮毛和表面，相比日本军队的现代方式，作风剽悍的淮军因为组织和战术上粗糙而随意，同时缺乏现代战争的多兵种的协同作战方式，只能算是中世纪的兵勇，算不上是一支现代意义上的部队；而那种一对一之间的捉对厮杀，在两军的热兵器对垒中，往往无从发挥。更何况由于久疏战争，此时的淮军早已是今非昔比了。至于北洋水师，丁汝昌对于海军的不熟悉，掌控能力较弱；经费严重不足、训练和作战水平差、军纪不严等，也是失败的重要因素。可以说，清国的军队在对现代军事的理解上和运用上已经远远落后于日本部队了。
甲午战争的失败，从实力上说，是国力上的原因，而具体到军事上，则是组织、管理、协调、意识等方面的失败。全方位的落后，导致了甲午战争一败涂地，失败得窝窝囊囊，失败得稀里糊涂，失败得莫名其妙……李鸿章又有什么办法呢，在这种情况下，他只有悲愤和认命了。
朝廷向日本提出了议和的倡议。输光了的李鸿章愧于与日本人面对面，当恭亲王试探着让李鸿章前去日本议和时，李鸿章回信说：“在下与张荫桓等人再三商量，觉得现在只想派一名忠实可信的洋员前往，既容易得知对方的意图，又不会引起对方的怀疑。”李鸿章选定的这个人物，就是在天津海关工作20余年、对李鸿章忠心耿耿的德国人德璀琳。李鸿章在同一封信中写道：“德璀琳在天津工作20多年，对我很忠心，中法议和等事他都暗中相助。先前伊藤博文到天津与我订约时，他认识伊藤幕僚中的一位英国人，于是又从中相助，很是得力。如果让他前去日本酌情办理讲和一事，或许能够得到转机。”
日本外相陆奥宗光在得知清政府准备派洋人来日本代为商谈议和事项之后，马上与首相伊藤博文进行商议。在节节胜利的情况下，日本当然不想立即收兵，他们想再次扩大战果，占领东三省部分领土，以此来逼迫清国做出更大的让步。更何况，中国政府此时派来的是一名洋人，很可能是来打探虚实的。因此，伊藤博文与陆奥宗光商定不见德璀琳，迫使中国政府派出更有资格的代表。
德璀琳碰了一鼻子灰，灰溜溜地回到中国。1895年2月1日，清政府又派张荫桓和邵友濂二人赴日，到达日本人指定的谈判地点广岛。第二天，双方互换国书。伊藤博文发现张荫桓和邵友濂所携带的国书文字中有“一切事件，电达总理衙门转奏裁决”内容，认定二人授权不足，与国际谈判惯例不符，拒绝与他们谈判。张荫桓和邵友濂急忙写信给陆奥宗光，申明光绪皇帝的确向他们授予了议和全权。日本方面依然不依不饶，甚至驳回了张荫桓和邵友濂发电报给国内修改国书文字的请求，还借口说广岛是日本军事重镇，不许闲杂人员逗留，将张荫桓和邵友濂赶到了长崎。
就在张荫桓和邵友濂被日本政府拒绝的当天，伊藤博文与使团随员伍廷芳进行了一次谈话。伊藤博文问伍廷芳：“你方为什么不派遣重臣来呢？请问恭亲王为什么不能来敝国？”伍廷芳答道：“恭亲王位高权重，无法走开。”
“那么李鸿章中堂大人可以主持议和，贵国怎么不派他来？”伍廷芳随之反问：“我今天是和您闲谈，那我顺便问问，如果李中堂奉命前来议和，贵国愿意订约吗？”伊藤博文自然能够听出伍廷芳的弦外之音，回答得也是滴水不漏：“如果中堂前来，我国自然乐意接待，但还是符合国际惯例，必须拥有全权。”
就在这次谈话前后，日军取得威海卫战役的胜利，北洋海军全军覆没。清政府失去了与日本人讨价还价的最后筹码，没有别的办法，只好派李鸿章前往日本议和。
李鸿章哪里想当这个议和大臣呢？无奈的李鸿章只好通过驻英公使龚照瑗，向英国外交大臣金伯利透露自己的委曲，并请金伯利从中斡旋。李鸿章表示自己很不愿意承担与日本谈判这一费力不讨好的任务，认为日本不应该拒绝张荫桓，因为此人曾任驻美公使，有很丰富的外交经验。金伯利劝慰李鸿章说：“日本自然要求中国全权大臣是一个名位显赫的人物。在我看来，为了中国的利益，无论如何李中堂都应承担此项任务。虽然这可能是一项相当艰巨的任务，我也同情你勉为其难，但相信你愿意为自己的国家做出这样一项重要贡献。”
1895年2月22日，李鸿章奉旨进京。此时，日本人再次向清政府表示，如果要和谈，不仅要清政府赔款和承认朝鲜独立，而且要求割地！慈禧气急败坏，借口肝气发作，对于议和一事，不愿表态，只是王顾左右而言他。进京次日，光绪帝在乾清宫召见李鸿章并诸大臣，围绕是否割地问题，朝廷意见不一，乱作一团。翁同依旧信誓旦旦地空谈，宁愿赔偿绝不割地。恭亲王奕为首的一干大臣则认为，如果不答应割地，日本人恐怕不会与清廷议和。现在形势危急，日本军队的锋芒已指向北京，为保京师无恙，只能顺从日本人的心愿。
满朝大臣，一片义愤填膺，但具体到如何解决问题，一个个束手无策，并且，谁都不愿意背上遗臭万年的罪名，去接这个烫手山芋。李鸿章自然也不愿意。经办外交多年，李鸿章早尝够了“卖国贼”的滋味，所以，他一定要得到清政府的全权授权，才肯出使日本。并且，李鸿章知道向来以“清流”著称的翁同以后肯定会说风凉话，把恶果归罪于他，于是在朝上要求与翁同和一起去日本。翁同哪里肯接这个要命的差事呢，他慌忙闪避：
“如果我办过洋务，我肯定不会推辞。而我在这方面是一个生手，此事责任重大，我干不了。”
去日本之前，李鸿章为了寻求支持，确切了解各国列强的态度，再次奔走于各国使馆。只可惜此时各国要么已与日本沆瀣一气，要么暗中打着自己的“小九九”，准备坐收渔翁之利。李鸿章的求助行动并没有结果。
