1570年春天，58岁的海瑞罢官回到海南故乡。两年后，新帝即位。高拱在政争中失败，被逐回河南老家。张居正取得首辅位置。在政治上，海瑞与张居正有许多相似的地方。他们都力图振作百病缠身的明帝国，上下求索，锲而不舍。只不过在具体的做法上，他们并不一致。张居正是一个实干的政治家，一切从实际出发；而海瑞则是一个复古色彩很浓的理想主义者。海瑞任应天巡抚时，曾致函当时已是内阁大学士的张居正，请求他对自己的所作所为予以支持。张居正在给他的复信中说：“三尺之法不行于吴久矣。公骤而矫以绳墨，宜其不堪也。讹言沸腾，听者惶惑。仆谬忝钧轴，得参与庙堂之末议，而不能为朝廷奖奉法之臣，摧浮淫之议，有深愧焉。”表面上对海瑞的处境赋予同情，实际上却批评他行法太为骤急。不过海瑞仍是海瑞，挫折改变不了他的信仰。1574年（万历二年）春，会试举行在即，张居正有一子参加考试，传言张首辅曾私下嘱托会试总裁礼部尚书吕调阳。海瑞即致函吕尚书，请他“以公道自持，必不以私徇太岳（张居正之号）。”这种毫无顾忌的耿直当然不为张居正所喜欢，结果就是海瑞在家闲呆15年。
1585年（万历十三年），张居正已遭清算。万历帝为树立自己的政治形象，召73岁的海瑞任南京都察院右佥都御史，道改南京吏部右侍郎，署吏部尚书。海瑞到任后，上疏万历帝，表示他是衰老垂死，但愿比古人户谏之义，为国治民安尽心。奏疏中说：“陛下励精图治，但是治化未臻，原因就在于惩处贪官的刑罚太轻了。”因而举出太祖重典治贪官的严刑，如剥皮囊草、贪污受贿达80贯者处以绞刑等等，并且说，当今就应该用这样的严刑来惩处贪官污吏。海瑞这一建议并非无感而发。南京虽然是陪都，各衙门清闲无事，并无多大实权，但官吏们凭借凌驾于社会之上的“公共权力”敲诈勒索市井商民，却是绰有余裕。他曾亲眼见到五城兵马司（负责京城治安的机构）发票向坊上市民无偿索要备办宴会的各种物品。他又见到一坊市民收到各衙门发来索要各种物品的票单竟有三百多张。他呼吁万历皇帝身为表率，督促朝廷大臣，而后臣下层层约束，清廉为政，使百姓得以安身度日。
海瑞主张用严刑惩贪的提议，在习惯了因循的官场中立即激起轩然大波，舆论认为他是在劝导皇上行虐刑。监察御史梅鹍祚公然上章弹劾海瑞。好在万历帝对海瑞的忠君爱民情怀没有产生误解，虽然认为他的言论有些偏激，但用心良好，故给梅御史处以停俸的惩罚，同时升海瑞为南京都察院右都御史。
有了皇权的支持，海瑞更加意气风发。有位御史在家召集一班伶人演戏，海瑞认为有伤风化，声称将遵循太祖皇帝的法度，予以杖责。这类事情在南京诸司已是司空见惯，习以为常，海瑞现在突然宣布要矫以本朝开国皇帝的法度，而本朝开国皇帝超迈古人的事迹就是以无比严酷的刑罚惩治贪墨不法的官吏，这自然就引起南京诸司官员的普遍恐惧。因为如果按照洪武时的法条，绝大多数的官员恐怕难脱贪墨的干系而受刑罚的制裁。那种污行至为明显的官员，惟恐首先被绳之以法，便采取先发制人的手段。南京监察御史房寰督学南直隶，受贿狼藉，害怕遭海瑞的纠擿，便上疏诋毁海瑞。奏疏一开始就对海瑞作了全盘否定：“大奸极诈，欺世盗名，诬圣自贤，损君辱国。”接着就是采用断章取义与肆意曲改的惯用手法，说海瑞以圣人自许，奚落孔孟，蔑视天子。最后引用海瑞自己的言论来说明他既虚伪又骄恣，说他受召复官，居然丝毫不作礼貌上的辞让，反而强调说他还要典卖器皿鞋靴，才能置备朝服官带。这位督学御史还规定，如果学校中任何生员敢于按照海瑞的方式为人处世，他必将施以责打并开除此人的学籍。
这种人身攻击式的批评，立刻遭到无数青年学生、新科进士和下级官员的激烈反驳。拥护者和反对者互相争辩，几乎一发而不可收拾。万历皇帝于是亲自作出结论：“海瑞屡经荐举，故特旨简用。近日条陈重之说，有乖政体，且指切朕躬，词多迂戆，朕已优容。”主管人事的吏部，对这场争论也提出了自己的意见，说海瑞节操可风，只是近日关于剥皮囊草的主张过于偏执，“不协于公论”，所以不宜让他出任要职，但可以继续保留都御史的职位。皇帝的朱批同意吏部的建议：“虽当局任事，恐非所长，而用以镇雅俗、励颓风，未为无补，合令本官照旧供职。”
这些文件由给事中发抄，在邸报上予以公布，就等于朝廷公开承认了自己的矛盾。为什么可以镇雅俗、励颓风的节操偏偏成了当局任事的障碍？可见明帝国的政治实际至此已和政治的道德脱节，道德伦理只是道德伦理，做事时则另有妙法。朝廷已经放弃了使两者重新融合的努力。此后的明帝国，也正是在日益扩大的政治与伦理的矛盾中，走向灭亡的深渊。
海瑞虽然被挽留供职，然而这些公开发表的文件却把他所能发挥的全部影响一扫而光。一位堂堂的台谏大臣既被皇帝称为“迂戆”，只是由于圣度包容而未被免职，那他纵有真知灼见，他说的话又岂能再算数？当初闻召时，他就担心当今皇上不能改掉喜好女色与骑射的毛病，“汉魏桓谓宫女千数，其可损乎？厩马万匹，其可减乎？”但他还是抱着幻想。现在，幻想彻底破灭了。他在致门生的信中说：“七十有四非做官时节，说天下事只如此而已，不去何为！”于是提出了六次辞呈，但每次都为御批所不允。1587年（万历十五年），当寒冷的季节来临时，明南京都察院右都御史海瑞，这位大众心目中的英雄，走完了人生的最后旅程。海瑞无子，死时仅留下俸银十余两，旧袍数件，是同事官员的慷慨解囊，才使他得以入敛。他的死讯传出，小民为之罢市。丧出江上，白衣白冠相送者夹岸，祭奠泣别的人们绵延百里。而北京主管人事的官员无疑因此可以大松一口气，因为他们再也用不着去为这位到处惹事生非的人物费心做安排了，他们乐意俯从民情，请求皇上赐给他一个恰如其分的谥号“忠介”，并追赠太子太保。
