然而，徐阶还是失败了。徐阶当政之时，对宫禁之事，多有谏诤，引起了宦官的反感，宦官从中用事，使穆宗对徐阶渐渐失去信任。隆庆二年（1568年）六月，穆宗要幸南海子，徐阶劝阻，穆宗不听。七月，给事中张齐弹劾徐阶。徐阶迫于形势，请求致仕，穆宗遂准行。举朝上疏挽留，都无济于事。17年的大学士，7年的首辅，就这样结束了政治生涯。临别之际，徐阶将国事、家事都托付张居正照应。这又给了张居正一个深刻的印象：和中官的关系好坏，在政治中有着非常微妙的作用，开罪中官，甚至足以使首辅去职。
嘉靖四十五年，世宗去世，30岁的裕王载垕即位。皇帝逝世以后，第一件事情便是发布遗诏。在明代，遗诏通常由大臣拟就。世宗已经死了，遗诏的内容便可以由首辅徐阶确定了，他和张居正筹划着，他们可以利用遗诏做什么。对嘉靖朝的弊政，他们有共同的看法。在遗诏中，斋醮、兴土木、求珠宝、营织作，这些耗资巨大的奢靡之举都被停止。另外还有两件事，一是“大礼”案，一是“大狱”案，这两个案子株连了很多朝臣。“大礼”案指嘉靖初年，世宗追父亲兴献王为皇考，伯父孝宗为皇伯考，遭到很多朝臣的反对。在朝中引起了一场风波。“大狱”案指嘉靖五年（1526年）李福达倡弥勒教之事引起的风波。遗诏把因两案得罪的大臣全部复官。这次参与遗诏之事的，只有张居正一人，可见徐阶对他的器重。
穆宗是一个平庸、宽厚的君主。他喜欢游宴，爱珍宝，贪女色，对政治却没有什么兴趣，朝中的事情，他甚至懒于过问，朝会之时，仅仅聊应故事而已。朝臣批评他不理朝政，他亦不予理睬。在这种情况下，政治的重心便转移到了内阁。
内阁是明代的政治机构，朱元璋建国之初，为强化皇权，于洪武十三年（1380年）借处死左丞相胡惟庸之机，取消了中书省和丞相的官职，遂废除了自秦汉以来沿袭一千余年的丞相制度，由皇帝直接统辖吏、户、礼、兵、刑、工六部。丞相的取消，使皇帝不得不亲自过问很多事务，于是朱元璋设置助手，挑选了几个文人担任殿阁大学士职务，协助他批阅奏章，充当顾问。明成祖朱棣时，使殿阁大学士的设置成为一种固定的制度，大学士不仅充当顾问，而且参与机要，内阁便成为常设机构。弘治时期，原来居百官之首的吏部尚书的地位下降了，阁臣取而代之，为百官班首，内阁势力逐渐增强。在内阁当中，渐渐形成一种首辅制度，内阁首辅一般由资深大学士担任。首辅常常代皇帝拟定诏谕，称“票拟”，首辅在政冶决策中有很大的权力和影响。进入内阁，再争取首辅的地位，这便是争得权力的途径。
穆宗隆庆元年（1567年），皇帝加恩原裕王府诸臣，张居正先由翰林院侍读学士，进礼部右侍郎，兼翰林院学士，侍郎为三品官。嗣后，又于二月晋升为吏部左侍郎，兼东阁大学士，入阁。张居正这次入阁，是徐阶的推荐，对此，张居正后来一再充满感恩之情地提到徐阶的“垂接引之慈”。张居正奉命入阁，迈出了他政治生涯中重要的一步。步步为营，稳妥地进取，直到取得能够支配政局的权力，施展平生的治国报负，这是他的志愿，他一刻也没有忘记。这时，在内阁之中共有六人：徐阶、李春芳、郭朴、高拱、陈以勤、张居正。其中，除李春芳是他的同年，其他人或为老师，或为前辈。即使李春芳亦先张居正二年入阁，作为后进，张居正清楚自己的地位，现在，还不是他出露头角的时侯。他谦恭地对待老师和各位前辈，“骤冒非分，日夕惶惶，罔知攸措。思所以酬主恩而慰知己者，惟虚平此心，不敢向人间作好恶耳”。
隆庆元年四月，以重录《永乐大典》书成，张居正进礼部尚书，兼武英殿大学士。隆庆二年正月，张居正加少保兼太子太保。隆庆四年（1570年），张居正进兼太子太傅、吏部尚书，又进少傅，兼建极殿大学士。隆庆六年（1572年），进少师。隆庆年间，张居正的地位在逐渐上升。
隆庆二年，张居正上《陈六事疏》，提出矫治时弊的六个方面的建议。
第一，“省议论”。张居正认为，近年以来，朝廷之间，议论太多，或一事甲可之而乙否之，或自己朝是而夕非，甚至是非毁誉自相矛盾，混淆不清。地方官吏不务实事，以采听的浮言、华丽的词藻搪塞官事。又一事之行，往往因人言而遽止，难以奏功。意见横出，谗言微中，飞语流传，已到了多言乱听的地步。如防虏之策，皇帝敕廷臣集议，结果群言盈庭，群策毕举，而事将一年，未见有多少付诸实施，也不知实效何在。所以他主张“扫无用之虚词，求躬行之实效”，要求各衙门“一切奏章，务从简切，是非可否，明白直陈，毋得彼此推诿，徒托空言”。
第二，“振纪纲”。现在朝廷纲纪不振，法度不行，上下以姑息、推诿、迁就为事，以至于法之所加，唯在于微贱之人，而强梗者坏法干纪，得不到制裁。对于严肃法纪者，人们或攻其拂人之情，或攻其操切。他建议穆宗严明纲纪，使“刑赏予夺，一归之公道”，“法所当加，虽贵近不宥；事有所枉，虽疏贱必申”。
第三，“重诏令”。诏令不行是大乱之道。现在朝廷诏旨多废阻不行，禁之不止，令之不从，各地方官吏对朝廷诏旨奉之尤其迟缓，竟有一事而十几年不完者，以至文书堆积，不作处理，干证之人已死，而事情尚未处理，年月久远，事已失真，遂使漏网之人终逃国法制裁。张居正建议，对部院等衙门处理的政务，如事理了然、明白易见者，不必捼之抚按议处，耽搁时日。如确实需要行议勘问者，则酌量事情缓急、路途远近，严格地规定期限，责令完成。各部院对应办之事，“置立号簿，登记注销”，依簿严格检查，作为考课官员政绩的内容。
第四，“核名实”。现在选拔人才，不是“试之以事，任之以事”，“更考其成”，结果使那些大言无当者，善于迎逢者窃居官位。近来又有一种风尚，“士大夫务为声称，舍其职业，而出位是思。建白陈条，连篇累牍，至核其本等职业，反属茫昧”。主管钱谷之官，不知出纳之数，司刑法之官，不了解国家律例，总之，官吏不尽职守，“名与实爽”。他建议，以审名实，考课官吏，务求在其位，必谋其事，必奏其功，用舍赏罚，一律以功业为准，这样，才能使吏治得到整肃。
第五，“固邦本”。民为邦本，君主应爱民、恤民，所以他建议皇帝“痛加节俭”，凡不急之工程，无益之征办，一切停免，以加惠百姓。敕吏部铨选官员时，以“守已端洁，实心爱民”为上等，对贪污者，严加追赃，痛加惩处。另外，他指出，现在豪强兼并，赋役不均，豪强以各种方式逃避赋役，负担转嫁到平民身上，而官府各衙门的钱粮，漫无稽查，官员假公济私，鱼肉百姓。如果在这些方面进行整顿，国家财政会有很大改观，没有必要强索贫困之民。
第六，“饬武备”。当今之事，最可虑者，莫重于边防，朝廷之中，所当日夜筹划者，亦莫急于边防，近年以来，虏患日深，边事久废，而论及边事，人们常常提出三难：兵不多、食不足、将帅不得其人。其实，这三者均不足患，兵不患少而患弱，况且，粮籍俱在，如果按籍征求，清查隐占，再加以募补，着实训练，何患无兵？捐无用不急之费，并其财力，以抚养战斗之士，何患无财？悬重赏以劝有功，宽文法以伸将权，则忠勇之夫，谁不思奋，何患无将？目前自守之策，在于选择边吏，团练乡兵，并守墩堡，并训练京营之兵。同时，张居正提请穆宗行大阅之礼，即冬季农闲之时，皇帝亲临军营校阅，以表明皇帝“加意武备，整饬戎事”。
《陈六事疏》是张居正经过深思熟虑提出的改革的总体构想。整肃吏治、整顿财政、解决边患这三大问题，是他关注的重点，也是明帝国面临的最主要的三大社会危机。“核名实”、“振纪纲”、“重诏令”中提出的想法和措施，在张居正当国以后，遂构成考成法的主要内容。对于财政问题，张居正此时还没有详实的方案，但是，吏治的整肃，国家机器运转的正常化，必然带来财政的好转，而节省一切无用之费，则是张居正理财时一贯的思路和作法。在“饬武备”中，他对于兵源、军费、将帅三方面的见解和主张，后来得以实施，均取得了极大的成效。
嘉靖二十八年，张居正上《论时政疏），到隆庆二年上《陈六事疏》，19年过去了。等待了19年的时间，他还没有得到施展抱负的机会，19年的岁月，对于急切报国的张居正来说，太漫长了，然而，这也锻炼了他的耐心。改造一个弊端丛生的大帝国，没有这种耐心与耐力，是难以胜任的，他在磨炼自己。这19年，张居正经历了诸多的事变、诸多的观察和思虑，他改革敝政、匡时济世的志向始终如一，而改革的思路日渐清晰、具体、切实了。这时，44岁的张居正已是一个成熟的政治家了。《陈六事疏》体现出张居正作风的特点，他没有去高谈阔论，尽管博通经史，却不着意于政治理论的建树，议论多而成功少，这是宋代不振的病因。他眼睛中看到的只是实际的问题，脑子里想到的只是解决这些问题的可行的方针、方式、方法，他不是一个政治理论家，而是一个重功效的政治实干家，这种务实的作风，是张居正政治活动的特点。
《陈六事疏》呈上之后，穆宗批道：“览卿奏，皆深切时务，具见谋国忠悃，所思详议以闻。”这一次，较之《论时政疏》的石沉大海，要好得多了。有可详议的结果，都御史王廷等就“振纪纲、重诏令”二事，析为八则，兵部就武备事宜提出议兵、议将、议团练乡兵、议守城堡、议整饬京营等，又奏请皇帝亲临大阅。给事中骆问礼提出：大阅非今所急，不必烦劳圣驾，但是张居正力持其说，穆宗于第二年九月，大阅于京营教场。户部就“固邦本”提出财用之当理者有十，宜严法整饬。对于这一切，穆宗均一一允行。然而大多并没有切实施行，虚言和公文搪塞是积习已久的官场习气了，张屉正在《陈六事疏》中排去这种风气，非但没有排出去，反倒使《陈六事疏》的主张为这种风气所淹没。
穆宗只是一个醉心享乐的君主。即位之初，户部尚书马森奏报，国库存银仅足三月之用，存粮亦仅足二年用，劝其节俭，穆宗却责令措置。隆庆三年（1569年），吏科给事中石星谏止穆宗长夜声乐之娱，遭廷杖后，废黜为民。穆宗要户部发银六万两购求黄金，又令购珠宝，马森等力劝不听，马森不得已而辞官。穆宗又诏令取太仓银30万两，供内廷挥鬈享用，大臣们纷纷谏止，穆宗仍坚持且取10万。穆宗虽较世宗宽厚，朝中又无严嵩那样的权奸当道，然而穆宗毫无励精图治之志，甚至无意于国事。尽管胸抱利器，张居正又能做些什么呢？他依然只能等待。
对时局的深切忧虑，对敝政的切肤之痛，平治天下的宏大抱负，挽救帝国的改革蓝图，这一切汇成一种冲动，使务实的政治家的眼光紧紧地盯住了权力，有了权力，这一切都可以实现。为了这个权力，为了平生的志向，他需要、也必须登上首辅的高位，去实施和推行扭转国家颓势的改革。
