郭嵩焘出任公使3年时间，本想努力考察西方富强的原因，将西方先进的近代文明介绍到国内，但事实与愿望的反差是如此明显，他感觉到心灰意冷，兴趣索然。他执意求退，清政府也没有挽留他，总理衙门的守旧大臣还想拿他治罪，只有少数人对他的去职表示惋惜。
当清政府决定召回驻英公使郭嵩焘时，伦敦新闻界对郭的去留也表现出非常的关心。各报纷纷发表评论，称赞郭嵩焘通晓欧洲事务，识见宏远，一心想把欧洲好的东西介绍给国内。继任英、法公使曾纪泽在慈禧太后召见时，也盛称郭嵩焘公忠体国，值得嘉许。他认为郭嵩焘为人正直，此次出使，不避艰难，是拚却声名为国办事。只是由于性情偏急，恨不得中国即刻自强起来，所以，常常与保守的官僚士大夫意见不合，发生争论，受到守旧派的猛烈攻击。他希望清政府要始终保全这样勇于任事的大臣。主持洋务大局的李鸿章对于总理衙门褊袒刘锡鸿、单撤郭嵩焘的做法也极为不满，站在郭嵩焘一边，称赞郭嵩焘在出使以后，办理外交的经验更加丰富，而且知道中外交涉的一切奥妙和程序。应当说，以上的评论，是切实、客观的，郭嵩焘受之无愧。
1879年1月31日，郭嵩焘怀着悒郁、孤寂的心情，告别了生活3年的欧洲，踏上了返航东归的旅程。临别前，他写了一首诗赠给新任公使曾纪泽，诗中写道：
十洲天外一帆驰，踪迹同君两崛奇。
万国梯航成创局，数篇云海赋新诗。
罪原在我功何补，北不如人老更悲。
要识国家根本计，殷勤付托怅临歧。
郭嵩焘借诗以言志。在这首诗中，他再次充满自信地肯定了自己对中外关系和中国时局的认识，虽然对自己的一生和中国的现状表现出悲观失望，但他又把希望寄托于后来者，对中国的未来仍表示了自己的信心。
1879年3月，郭嵩焘回到上海。他没有继续北上进京述职，而是奏请以病销差。英国《泰昭士报》和上海《字林报》很快报道了郭嵩焘不愿再返政坛的消息，并对郭的退隐表示惋惜。列强的这种态度无疑对清廷形成一定压力，于是一再催促郭嵩焘北上，回京任职。但郭嵩焘退志已决，清政府也就顺水推舟，批准了他的病退请求。5月初，郭嵩焘乘轮船到达武汉。湖南乡绅听说他要继续乘轮船返乡，群起阻止。郭嵩焘不为所惧，继续上行。5月5日，到达长沙。按照当时的官场习俗，郭嵩焘身为钦差大臣，湖南巡抚及下属文武官员应热情迎接。然而，在郭嵩焘到达时，码头上冷冷清清，没有一人出来迎接这位钦差的到来，而大街小巷，却贴满了指责郭嵩焘勾通洋人的揭帖。中国近代史上的第一位公使，就这样背着千夫所指走出国门，又迎着国人的辱骂回归乡里。从此，他退出了晚清的政治舞台，开始了孤寂的晚年生活。虽然后来仍有洋务派官员保奏郭嵩焘，认为他周知中外之情，曲达经权之道，识精力卓，迥出异常，是一位难得的外交人才，未可投闲置散。但是，清政府却再也没有打算让郭嵩焘走上前台来，郭嵩焘终于从晚清政治舞台上消失了。
纵观郭嵩焘的政治生活，他几进几出官场宦海，每次进时，他都满怀希望，信心百倍；而每次退出时，他都身心疲惫，百无聊赖。出使归来后，郭嵩焘对清廷政治再也激不起兴趣，终于告老还乡，开始过一种山野闲人的轻松生活。但是，湖南士绅并不就此放过他。他回乡之后，守旧的士绅对他冷眼相看，并且不时制造出关于他的一些流言。他回长沙不久，总理衙门来信告知有洋人要从广西到湖南游历。士绅们风闻这一消息时，立即散布流言，说洋人是郭嵩焘勾引来的。许多学生不明真相，群情激愤，郭嵩焘被迫请求当局辟谣。风波刚过，他雇船返湘阴老家，又惹得谣言四起，说他因害怕学生闹事，要携家眷逃回乡下去。他派人到上海办事，就有人说他要去找洋人撑腰。面对守旧士绅们谣言的围剿和无知群众的误解，他关起门来，把自己有关洋务的奏议、书信、言论等编辑成一部《罪言存略》，1879年7月正式刊行。这部书既是他对自己办理洋务的实践和关于洋务的思想的一次整理和总结，同时，他又希望通过这部书来打消人们对他的误解，帮助人们认识当时中国面临的世界大局，占领一部分舆论阵地。但是，当时的湖南守旧的气氛非常浓，区区一本《罪言存略》根本无法阻挡人们的议沦。谣言仍不断袭来，使他不得安宁。他与几位朋友准备建立一所“校经堂”，刚刚着手，就有人写来匿名信，指责他们以讲经史之名，行宣讲洋人的天文算学之实。他与西技和尚时相过从，士绅们就谣传他要把佛寺改建为天主教堂。甚至连他关起门做体操，也被人讥为“打洋拳”。面对如此避无可避的谣言，他只好愤愤地说：“士大夫语及洋人，则大憾，见洋人机器，所以致富强，则益憾。独于洋烟，甘心吸食。”当时湖南守旧的士绅的确如此。
守旧士绅制造的谣言、辱骂使郭嵩焘备感痛苦，但他并没有被谣言击垮。守旧士绅的险恶用心是要堵住郭嵩焘侈谈洋务的口，但郭嵩焘偏不向舆论屈服，坚持大谈特谈洋务。他向朋友声明，他之所以要讲洋务，是想使人们稍懂中外关系的奥妙，并运用它来保卫国家。如果士大夫继续虚骄自大，不去了解西方列强的情况，那么，一旦发生冲突乃至战争，衰弱的中国就可能步印度后尘。关系如此重大，做为一个先知者，能够不去启发后知者吗？这样一来，郭嵩焘虽然退出了波涛汹涌的政治漩涡，但是，山野闲人的生活却只能是一种目标，他的生活将注定是没有清静的时候的。
