2月1日，中日两国议和全权大臣在广岛举行第一次会议。双方在交验了国书等相关文书后，伊藤博文郑重询问张荫桓，谈判中遇到的事情，你们二位是否能够做主？张荫桓答道：谈判中可能会涉及的事情都可以做主，但有些事情必须电奏朝廷请求指示。
按理说，张荫桓的回答符合外交常理和原则，你伊藤博文和陆奥宗光的官阶虽高，但在谈判中遇到一些问题当然也会向天皇请求指示。这并没有什么可奇怪的。然而，正是这个不成为理由的理由，使日本方面认为张荫桓、邵友濂二人授权不足，无法开议。
2月2日，中日两国议和代表再次举行会议，张荫桓、邵友濂就中国大臣的授权问题反复解释反复辩论，希望日方能够理解大清国的体制，能够尊重大清国的尊严，允许开议。然而，伊藤博文和陆奥宗光大约就是要羞辱大清国，他们根本听不进张荫桓和邵友濂的任何解释，执意拒绝与张、邵谈判，并劝他们早日打道回国，不要在日本浪费时间。
伊藤博文拒绝与张荫桓、邵友濂谈判，当然是因为张荫桓、邵友濂所谓“全权议和大臣”并不享有“全权”，而更重要的是，日本方面对这次战争的后果及其善后早有估计和预案，他们的目标决不是简单的就地停战、议和谈判与善后，更不是随便赔点银子就可以了结的。日本的要价远远超出中国人乃至列强的估计，所以他们不会与张荫桓这个级别的官员浪费时间，他们需要与大清国最重量级的大臣直接谈判。2月3日，伊藤博文将这次意思告诉了张荫桓的随员伍廷芳，表示日本政府可以接受的议和全权大臣是恭亲王或李鸿章，舍此，就不必来谈了。
日本的要价确实大了些，确实超出了中国人的估计，但战场上的形势不容中国方面有丝毫犹豫，否则会带来更大的损失。既然求和议和已经是一条必走的路，那就割肉出局，尽早了结，尽最大限度减少损失吧。2月6日，朝廷召集王大臣御前会议，就谈判代表的权限问题进行研究，同意增加“定约画押”的字样，以此尽量使日本方面相信大清国的和平诚意。11日，朝廷下令张荫桓、邵友濂不必继续在日本逗留了，同意改派李鸿章为“头等议和全权大臣”，前往日本商定和约。日本在和谈的前哨战中就征服了中国，赢得了一个很重的筹码。
根据美国驻华公使田贝向总理衙门转达的信息，日本在此次战后议和谈判中的目的并不仅仅限于获得多少战争赔款，而是期望达成这样几个具体目标，一是朝鲜独立。这是甲午战争之所以爆发的根本原因，日本希望战后议和能够让朝鲜完全脱离中国，成为远东的一个独立国家。当然，这种所谓独立，其实就是脱离中国，倾向日本，成为日本的附属国、殖民地，至少也是日本的势力范围。二是割地。日本发展需要庞大的空间，日本走出几个小岛，迈向大陆，迈向世界，在日本看来是不可改变的战略选择，所以日本希望通过这次战争获取这样的机会，中国能够向日本割让一些土地，以便于日本的未来发展。三是最惠国待遇。日本的发展已经到了资本输出的阶段，大量的资本已经在日本本土无法获取赚钱的机会，急切需要寻找资本的输出地，而中国庞大的内需市场，正是日本所觊觎的。日本急于开发这片处女地，所以日本需要中国在开发政策上提供优惠和帮助。而这一点不仅是日本所需要的，也是西方国家的共同期待，所以西方国家在某种程度上站在日本的背后，并不认为有从道义上支持中国的必要，大约都是出于这样的考虑。四是战争赔款。这是近代战争的惯例，是在不言而喻之中的议题，不必专门讨论，战败国也必须支付战胜国的军需开支、战争损失，当然还应该有一定的利息或利润。战胜国即便不是要通过战争去发财，但战胜国肯定不愿意通过一场战争在经济上有什么损失。这四个目的件件都非常棘手，没有朝廷的充分授权，谁也很难谈判。既然战败了，既然在战场上打不过人，那就只好认输。这就是丛林法则，就是弱肉强食，就是近代国家关系的基本准则。
日本拒绝了张荫桓、邵友濂，不是讨厌他们个人，而是他们的级别，他们在朝廷中的地位，他们在大清国最高领导人那里的发言权，使他们根本办不成这样的重大事情。这是日本拒绝他们的根本原因，所以这种拒绝并不真的伤及张荫桓与日本人之间的私人关系，在某种程度上说，张荫桓大约就是通过这次不成功的日本之行，与伊藤博文等政界领袖建立了比较友好的关系，也就为1898年的政治变故增加了变数。
拒绝张荫桓，接纳李鸿章，这中间并没有什么因果关系。李鸿章是大清国当时除了恭亲王之外，最为重要的大臣，也最为皇太后、皇上所信赖。但是，与张荫桓、邵友濂等大臣一样，汉大臣李鸿章对于割让土地这样的大事也是实在不敢做主。这不是一个简单的骂名问题，而且牵涉大清国外交政策的战略转变。他在与朝廷连续数天的协商中，反复表达了自己的看法及困难。朝廷内部对于割地赔款等一系列谈判预案，也迟迟拿不出主意，无法达成一致。皇太后最为信任的军机大臣孙毓汶鉴于中日之间的力量对比及国际格局，力主及早止损，割地了局，“战”字再也不要提及；先前力主强硬的翁同龢现在虽然不再强硬，但却坚持无论如何，哪怕多支付战争赔款，也不能割地。这是朝廷内部的基本态势。
其实，中日之间战后谈判还不仅仅是中日两国之间的事，谁都知道不论中日两国之间达成怎样的协议，都势必影响远东乃至国际政治格局，影响列强在中国的利益均衡。所以，当中日议和消息传出后，各国对此都表示出浓厚兴趣，尤其是俄国驻华公使多次暗示大清国要顶住日本的压力，俄国政府始终站在大清国方面，会想方设法帮助中国抵制日本。
对于列强的真实目的，相信李鸿章、张荫桓等人都很清楚。所以，当李鸿章于2月18日电询已回国抵达上海的张荫桓可否借助俄、英等国的力量与日本进行谈判时，张荫桓复电表示需慎重。
张荫桓只是告诉李鸿章在借助列强的力量时要谨慎从事，但他和李鸿章一样，在办理外交时，实际上都是遵循中国传统的以夷制夷方略，都试图借助于列强的力量去制衡某一个强国。2月28日，张荫桓在上海会晤英国传教士李提摩太，双方就中国大局之危机、中国改革之途径以及中国与列强同盟等问题充分交换意见。其实从张荫桓方面说，也是为了通过非政府渠道了解西方各国对中国外交困境的真实看法。
中国外交当时最大的困境就是日本坚持要让中国割让土地，而中国政府中的相当一部分决策者出于不同考虑，对这一问题有各自不同的看法，孙毓汶的“割地了局”看法是一种，而这种看法也甚得恭亲王及李鸿章的认同；而翁同龢始终反对以割地为了局的手段，但对怎样才能不割地而了局，翁同龢似乎也没有多少真知灼见。经过朝廷内部反复协商，3月3日终于达成一个共识，正式授予李鸿章有“商让土地”的权力，因为朝廷已清楚地看到，日本不从中国获得一定面积的土地，中日之间的问题决不能了结，所以他们最终同意以“宗社为重，边徼为轻”的原则去处理中日之间的问题。
有了清政府的充分授权，特别是有了皇太后、皇上的密旨，李鸿章率领的中国议和代表团于1895年3月14日离开天津赴日本，3月19日抵达马关。第二天（3月20日）即与伊藤博文举行第一次会晤，中国方面正式请求停战议和。21日，伊藤博文代表日本政府向李鸿章提出休战条件，要求中国交出山海关、天津、大沽，以及这几个地方的铁路及所有的军事设施。对于伊藤的要求，李鸿章毫不犹豫当场拒绝。议和会谈只得暂时休会。
经过与各自政府协商，三天后（3月24日）马关议和举行第三次会议。中国方面改变先前的策略，不提休战，但商媾和条件。伊藤允诺待其与政府方面协商后，明日给予答复。不料散会后，李鸿章遇刺，这一极其意外的事件在一定程度上为中国赢得了道义上的支持，缓解了日本方面的压力。3月28日，日本政府允许休战。30日，中日停战条约成立，奉天、直隶、山东停战21天。4月1日，伊藤代表日本政府正式提出议和条件：朝鲜自主、割辽东、台湾、澎湖，赔款三万万两，减低子口税。限中国政府四日内予以答复。
面对日本的条件，李鸿章没有急于表示自己的态度，他将这些条件迅速电告北京并建议总理衙门设法密告英、俄、法三国公使，听听这三国的意见，以便利用他们的力量与日本讨价还价。另一方面，李鸿章虽然获得了清政府的充分授权，但割地赔款的事情实在太过重大，如果没有朝廷明确指示，他无论如何也不敢擅自定夺。
清廷收到李鸿章的报告后立即在政府内部连续进行了研究，争论的焦点主要集中在割让土地方面，而在这方面又主要局限于辽东半岛的问题。皇太后4月7日发给李鸿章的懿旨表示辽东、台湾均不可弃，如果实在不可行，让地应以一处为断。汉族出身的高官如翁同龢等力主台湾不可弃，而满洲人的领袖如庆亲王等明确表示辽东半岛的地位重于台湾。
不割让土地只是清廷的一厢情愿，而日本方面则坚持条件不变，李鸿章按照国内指示与伊藤博文进行了五次会谈，后经国内同意于4月15日承认日本的条件。4月17日《马关条约》签字，中国承认朝鲜独立，割让辽东、台湾、澎湖，赔款二万万两，日本人得在中国口岸从事工艺制造。
《马关条约》引起后来一系列问题，李鸿章由此背负“卖国贼”的恶名。皇太后、皇上先前对李鸿章的信任与依赖也因《马关条约》的签订而丧失，回到国内的李鸿章逐步失去在清廷政治尤其是外交事务中的重要地位，而张荫桓却因此在政治尤其是外交事务中逐步崛起。
外交调整：党争的外部资源
张荫桓因日本方面的拒绝没有参加议和谈判，不过他在此后依然有机会介入中日交涉，并因此而引发与李鸿章的尖锐冲突。
根据张荫桓的说法，《马关条约》签订后，中日之间一系列悬案并没有完全了局。根据《马关条约》第六条相关规定，中日两国先前的所有约章均因甲午战争而作废，双方之间的关系必须根据《马关条约》所确定的原则重新商定，新的商约必须以大清国与欧美各国现行约章为本。据此，李鸿章在《马关条约》谈判中及签约后，对于中日之间一系列悬案，特别是重新商定通商行船条约，曾经有过一般性的过问，但始终无法进入实质性谈判。这中间有许多复杂的原因。
至1895年12月29日，中日通商行船条约的谈判正式开始。大清国代表为李鸿章，日本国代表为驻华公使林董。由于双方在一系列问题上争议过大，谈判进展缓慢。中国方面认为，在新订立的商约中，无论如何不能让日本人增加欧美诸国在过去一系列商约中所没有的权力，不能在过去各项成约之外另有别样的要求，否则必留后患，使中国在此后与欧美诸国交涉中困难重重。而日本的目标也很明白，就是要取得与欧美诸国同样待遇、同样标准，让大清国确认日本在列强中的地位，尽管它只是一个后来者。
谈判在艰难中缓慢进行，双方始终无法就具体条款达成一致，而恰当此时，俄国沙皇尼古拉二世的加冕典礼将于1896年5月举行。由于俄国在当时国际格局中的重要地位，各国均派特使前往致贺。1895年12月28日，清政府宣布由湖北布政使王之春为大清国专使前往祝贺。俄国驻华公使闻讯后明白告诉恭亲王及翁同龢，沙皇加冕是俄国政府最为重要的典礼，各国所派特使一定是该国最著名的人士，并且在世界各国具有一定知名度，而王之春仅仅是湖北布政使，官阶不过副省，人微言轻，不足当此重任。大清国如果执意派其前往，是不太重视中俄关系，多少有点轻蔑俄国的意思。
俄国政府所表达的意思已经很明白，而中国政府从来没有轻蔑俄国的意思，不仅不会轻蔑，而且处处都有仰赖俄国人地方。所以，经俄国公使提醒，朝廷于1896年2月10日宣布改派大学士李鸿章为大清国“钦差头等出使大臣”前往。
李鸿章前往俄国祝贺沙皇尼古拉二世加冕典礼，还将顺道访问欧美诸国，因此时间不会太短，为了不使中日之间的商约谈判因李鸿章的离开而中断，清廷在宣布李鸿章出使俄国的同一天，宣布张荫桓接替李鸿章为全权大臣，负责中日通商条约后续谈判。
张荫桓接手后，在李鸿章、林董先前谈判的基础上继续前行。至1896年3月8日，谈判稍有头绪，张荫桓向朝廷作了详细报告，分析困难及难点，请求朝廷指示。6月7日，日使林董致函张荫桓，提出中日商约的最后改正稿，大致就是要求日本在中国的权力与欧美诸国相等。这个要求并没有超出清政府的政策底线，因而使中日双方的谈判大幅度向前推动。6月24日，张荫桓复函林董，大致赞同日方最后改正稿的思路，对几个别不利于中国的地方提出驳议，但是同意以日本的改定稿作为谈判基础。于是又经过几轮谈判，双方于7月21日正式签署《中日通商行船条约》。大清国的签约代表是张荫桓，身份是总理衙门大臣兼户部侍郎；日本的签约代表是林董，身份为日本驻华公使。
