海瑞出狱后，官复原职，不久调为兵部武库司主事，随后升尚宝司丞、大理寺右丞。当时内阁首辅徐阶与大学士高拱争权，双方操纵言官互相攻讦。素以维持正义自居的海瑞，当然也没有置身于外，他上奏疏说：“徐阶事奉先帝，不能救正神仙土木的过错，畏威保位，确实无可否认。但他自从执政以来，忧勤国事，休休有容，有许多值得称道的地方。御史齐康甘心充当高拱的鹰犬，搏噬善类，罪恶比高拱还要大。”海瑞忠直的声名已为海内公认，这一奏疏上去，果然是一锤定音，齐康被罢官，舆论倒向徐阶一边，高拱只得回家养病。
海瑞袒护徐阶，并非出于报答当他下狱时徐阶在皇帝面前作调解缓和的救命之恩，而在于在纠正嘉靖皇帝的弊政方面，他们有着共同点。而高拱则恰恰想借徐阶暴露嘉靖朝弊的机会，给政敌安上一个诽谤先帝的罪名，从而夺取权力。海瑞袒护徐阶，当然也就得罪了高拱。
海瑞一疏定阁臣去留，名声更是大噪，到1567年（隆庆元年）年底，官至正四品的南京通政司右通政，在不到一年的时间内，连升六级，可谓官运亨通。但南京各部司只不过是优养闲员的地方，这自然不能令海瑞满意，因为他是儒家伦理道德的坚决信奉者和实践者，对国家和人民具有高度的责任感。
1569年年初，又到了对京官进行六年一次的全面考察的京察时间，按照惯例，凡属四品以上身着红袍的官员都应当作出自我鉴定。于是海瑞在奏疏中说：陛下既然赦免了臣的死罪，又予以破格以任用，在群臣中没有比臣更迫切地要求报答陛下的恩典。但是臣禀质庸愚，才猷浅薄，感德之情无穷，报德之才不称。臣现在所职掌的只不过是公文的发送，诉讼书的转达，并没有出纳皇上命令、监督百司行政的重任。臣连这样一个清闲的工作都干不好，不如将臣斥退。
海瑞这种阳求罢职阴为要挟的官场流行做法，果然有收效。他先是被调往北京担任通政司的左通政，提督誊黄，也就是管理文官履历的誊写工作。同年7月，升右佥都御史，出任应天、苏州、松江等十府巡抚，全衔是钦差总理粮储提督军务兼巡抚应天等处地方都察院右佥都御史，是朝廷派驻当地的行政、军事、监察的全权代表。
海瑞的辖区相当于现在的上海市和江苏、安徽两省的南部，是明朝南直隶的南部，习惯上称为江南。这里是明朝经济最为发达的地区，是朝廷的财赋重地，当然也是地方豪强势力最为猖獗的地方，素来号称难治。而任命一位举人出身的文官来担任此地的巡抚，从明中叶以来，实属罕见的事情。以海瑞的性格、修养与声望而论，在此显要位置上必有惊世骇俗之举。
海瑞一到任，那些贪污受贿的官吏，便自动解职而去。横行乡里的豪强，也都收敛起来，有的甚至逃往外省躲避。缙绅之家连夜把朱红大门改漆黑色，以免炫人眼目而求韬光养晦。驻在苏州的监造宦官，把他的轿夫由8人减为4人。举凡这些琐事，都说明了新任巡抚令人震慑的威势。
海瑞为人清廉刚正，满怀忠君爱民的热忱，希望在二三个月内就将素称难治之地转变为人人乐生的太平世界。他下车伊始，即颁行《督抚条允》36款，布告施政方案。《条约》充分表明了新任巡抚的清廉，而属下也必须以他们的上司为榜样。有些规定则不免失之理想化与繁琐苛细。例如，他规定境内成年男子一律从速结婚成家，不愿守节的寡妇应立即改嫁；境内的公文，今后一律使用廉价纸张，过去公文的后面留有的空白，今后也一律废止；自条约公布之日起，境内的若干奢侈品要停止制造，包括特殊的纺织品、头饰、纸张文具以及甜食。
清廉刚正保障了海瑞在治水工程上的成功。他以较少的支出在不长的时间里，疏浚了吴淞江和白茆河，办成了数任应天巡抚多年未能办成的事。但是，当他以同样的热忱与风格去办理一件更大的事情时，不但未能奏效，而且导致了自己的垮台。
毫无疑问，海瑞属于那种对儒学社会政治理想有着执著追求的士大夫。他曾说过：“要想天下太平，就必须实行按户平均分配耕地的井田制度。井田不能行，就应该限制兼并土地。等而下之，贯彻按照土地的实际占有面积均摊赋税的原则，尚可以保存古人平均财富的精神。”然而，现实和他的理想迥然不同。
明中期以后的江南，土地的占有已极不平均，地权高度集中，人们贫富悬殊。在中国历史上，土地私有制早在战国时代就已确立，原则上，可以通过市场来配置土地资源，实现地权的集中。而事实上，地权的集中在很大程度上不是由市场实现的，而是依靠特权。影响地权转移最重要的非市场因素是国家的税收政策，而明朝的各级官员与举人、监生、生员则形成一个在税收上享有特权的社会集团。这种特权，一些是国家公开赋予的，另一些则为现实的政治关系所造成。
明朝的赋税由劳役和田赋两部分构成。明初，政府就已赋予各级官员与举、监、生、员不同程度的优免劳役的特权。不过，从洪武到宣德朝的前期，朝廷对地方豪强势力采取毫不妥协的打击政策，而对偷漏田赋行为的惩处也极为严厉。其中，江南豪强所受打击尤重。但是，时过境迁，科举制造成了一个新的仕宦集团。嘉靖以后，随着一条鞭法的推行，劳役逐渐折征代役银，并部分摊入地亩，便掀腾起一股扩大优免特权的逆流。1545年（嘉靖二十四年）通过的优免则例规定：京官一品免粮30石，人丁30丁，二品递减6，三品、四品递减4，五品至九品递减2；外官减半；教官、监生、举人、生员免粮2石，人丁2丁；致仕官免70%。按照明初“均工夫”的劳役征发制度，每有田100亩，即须出夫1丁；田主若让佃户代为赴役，就必须付给佃户粮1石作为补偿，则免1丁的夫役相当于免粮1石。按这个比率把人丁折成税粮，则一品京官可免粮60石，举、监、生员可免粮四石。明代苏州府的税率是比较高的。宣德朝减税后，苏州的官田亩税率是041石，民田是052石，按这个税率计算，则一品京官可免去146亩至1 154亩耕地的税收，举、监、生员可免去10亩至77亩的税收。
此外，还有隐性的免税。各级官员与举、监、生员在故乡构成一个称为缙绅或乡绅的集团，是一方势力。虽然明朝有任官回避乡贯的制度，以防止官府与地方势力相勾结；但是，地方官若想办成事，保住乌纱帽，就得与乡绅们共政，服从他们的要求。何况，大家都是举人、进士出身，而生员、监生又是未来的举人、进士。再说，天下虽大，而官员的任免却集中在吏部的小块空间，谁碰不着谁呢？所以，乡绅们偷税漏税是普遍现象，而官越大偷漏赋税也就越严重。
乡绅们既可名正言顺地免税，又能心照不宣地偷税漏税，赋税负担便转嫁到平民百姓的头上。那些小户人家为了避免破产，为了维持生活，放弃人身的尊严，将少量的土地连带身家都投献给乡绅大户，做他们的奴仆，获得荫庇。这种现象在明朝后期的江南尤为普遍。这是乡绅们凭藉特权兼并土地的重要方式。
另外，明朝的金融与货币制度也极不合理，给大户兼并土地创造了有利的条件。当时国民经济的主要部门——农业，并不是如同人们过去理解的那种完全自给自足的小农经济。农家的普遍情景的确是男耕女织，但工具、食盐之类自己不能生产的生活必需品，则需通过市场获得。而明中叶以后赋税折征白银的改革，将千千万万的小农推入了商品经济的海洋。为了缴纳赋税，农民必须出卖自己的产品以换取白银。小户人家平时本来就没有什么积蓄，卖粮势必赶在收割的季节，而这个季节出售的粮食集中，价钱更是十分低贱，无形中，农民遭到商人的残酷盘剥。如果借贷，则难逃高利贷的魔掌。原来白银充当货币并非完美无缺。白银在当时是以自然形态而不是以铸币形态进入流通领域的，政府对它的流通量并不能作必要的调节。明朝又缺乏有效的商业法律，银行业不能得到正常发展，富人们并不能通过存款的方式增殖手中的白银，农民也不能从银行获取低息贷款。如此，富人们若不将手中积攒的白银拿去买田放债，便必将埋藏于地下，或是打成首饰器皿，从而造成通货紧缩，借贷更为不易。凡此种种，都造成了高利贷的猖獗。尽管政府的法律规定放款利率不得超过3分，而且不论时间多长，利息不得高于本金的一半。但此规定不过是一纸空文，实际上根本无人遵守。农民一旦借了高利贷，很少能还得起。还不起高利贷，原先作为借款抵押的土地，便为债权人所有。因此，高利贷也就成为有钱又有势的乡绅兼并土地的另一重要手段。
江南最为小户百姓痛恨的要算松江府华亭县的徐家。徐家老爷徐阶是致仕的内阁首辅，徐阶的弟弟徐陟出身进士，官至南京刑部侍郎，子璠荫官为太常卿，琨、瑛也荫官尚宝司，可以说是功名鼎盛，门庭显赫。徐氏数代未分家，奴仆好几千，占有土地24万亩，一说40万亩。除了经营土地、高利贷外，还开办以奴婢为主要劳动力的纺织工场，包揽当地的赋税、办理汇票业务。高官显宦加上巨富，家人就不免仗势欺人，横行乡里，作恶多端，引起公愤。
海瑞要奉行他信仰的理想，为小民百姓讨还些公道。他首先从徐家开刀。徐阶当首辅时，于他有救命之恩，他于是采取了一个恩法两全的办法。徐阶致仕后听凭家人横行不法，本可以刑法惩处，但海瑞只是将百姓控告徐家的诉状转达给他，让相公大人设法解决，并且最低限度要退田一半。据说，徐阶接受了海瑞带强迫性的要求。后来，海瑞又逮捕了徐陟。这样，一方面显示了他的执法不阿，另一方面也减缓了百姓对徐家的不满，体现了爱人以德的君子之风。
海瑞若是采取惩一儆百的方式，在外紧内松的气氛中来解决江南乡绅大户对平民百姓的压迫问题，或许能取得一定的成功。但是他并不以惩一儆百为满足，而是要使受冤屈的百姓全部得以伸冤。他规定每月的初二、二十六两天为放告的日子，百姓可以到巡抚府上告状，放告日收到的诉状往往达三四千件。1569年年底，他到松江府巡视，前来告乡官占夺田产的人竟达一万。他决心通民隐、抑强横。然而，要保证对田产纠纷的审断做到既合理又合法是困难的。首先，海瑞没有一支训练有素的司法队伍可供支配；其次，缺乏必要的书面证据。明朝法律规定，因还不起借款而为债权人所有的土地，在5年内可以原价回赎。但当时要求乡宦退田的小户人家往往没有书面契约，海瑞就规定，凡是无书面契约者，一律按未满5年处世。这样就引起了乡官们的恐慌。他们恿动、贿赂言官弹劾海瑞。
海瑞到任不久，就受到刑科给事中舒化的弹劾，说他只注意节约纸张等枝节问题，而“不识大体”。他开始处理田产纠纷后，又受到吏科给事中戴凤翔的弹劾，说他“鱼肉缙绅”。戴凤翔的弹劾手法当然是惯用的罗织，把那些无关是非的事情编织到一起，对海瑞的为人行事进行全面否定。弹文中还耸人听闻地说，七个月前，海瑞的一妻一妾在同一天一起死去，很可能是出自谋杀。尽管海瑞上章辩论，对事情一一予以澄清，并说妾系自缢于农历的七月十三日夜，妻系病死于二十四日夜，但弹劾却取得了预期的效果，不论真相如何，许多人已怀疑海瑞是怪僻不近人情，才造成了这样的家庭悲剧。隆庆帝批示，“着海瑞以原官总督粮储”。而当时高拱东山再起，复入内阁为首辅，兼掌吏部，他没有忘记海瑞在他与徐阶争权时所起的作用，作为报复，他把总督粮储的职事归并南京户部，实际上撤了海瑞的职。海瑞一腔忠君爱国的热情无处展现，只好谢病辞职。气愤之下，他在辞章中痛斥“今举朝之士，皆妇人也！”
海瑞离任的消息刚一传开，江南的小户人家，“号泣载道，家绘像祀之”。
