治理黄河和淮河，是张居正当国时期完成的一件利国利民的宏大事业。
自古以来，黄河多次泛滥成灾，治理黄河成为国家社会生活中的一件大事。黄河起源于青藏高原的巴颜喀拉山，奔腾而下，途经黄土高原，黄土高原土质疏松，大量的泥沙在黄河的冲刷下，顺流而下，在河水水流速度较小时，河沙便淤积于河床，久之，河床日渐增高，一旦遇到洪水，极易冲决河堤，造成黄河决口，淹没附近的万顷良田、大片房屋。大面积的水灾常常造成沿河两岸民众生命和财产的巨大损失。
元至正二十年（1360年），黄河改道，夺淮河出海的水道。黄河水位比较低时，黄河、淮河并流出海。当黄河水位升高时，汹涌湍急的黄河夺道出海。水势较弱的淮河不敌，被逼倒灌运河，给淮扬一带造成极大的水灾。
明中叶至隆庆、万历之际，黄河不断决口，水灾频仍。万历二年（1574年），黄河在邳州决口，淮河也决口。万历三年（1575年），黄河在高邮、砀山决口，“河决砀山而北，淮决高家堰而东，高邮湖亦决清水潭口，淮城几没。徐、邳、山阳南北，漂荡千里，河道淤浅”，漕运受阻。万历四年（1576年），黄河决口，入淮河，淮河水势不敌黄河，全淮南流，淹没了淮扬一带的大片田地、房屋。
对于明帝国而言，治理黄河不仅仅是一个水利和经济问题，黄河泛滥成灾，不但危及百姓的生命、财产，而且事关国家的政治和军事。明成祖在“靖难之役”后，夺取了国家政权，定都北京。当时，整个帝国边防的重点在北疆，因为元的后裔在北方，对明朝构成严重的威胁，所以成祖定都北边，意在巩固北疆边防。但是，北京及北边的粮食供给，却主要依赖于南方，南方的粮食通过水道运往北方，每年北运的漕粮达400万石之多。当时，从宿迁到韩庄的运河还没有修，从淮安到宿迁，再到徐州茶城，这一段便以黄河作为运河，即“借黄为运”。所以黄河和漕运又与国防存在着密切的关系，黄河一旦决口，漕粮受阻，北边便会有粮荒之虞，军粮缺乏，帝国的安危便成为问题。所以明帝国的执政者对治理黄河问题十分关注。
勇于任事，豪杰自许的张居正，决心在自己任内，将黄河治理好，完成这千载一时之功，使国家南北经济的大动脉得以畅通无阻，免除黄、淮一带百万生灵多年来遭受的水灾之患，使北疆边防的巩固有一个较为坚实的基础。
自从张居正秉政以来，经过政治和经济等多方面的改革和整肃，国家的财政情况发生了极大的变化，国库充盈，可以从财力上支持大规模的治理黄河工程。但是困难的是，张居正本人不通水利，在众说纷纭的情况下，要靠作为首辅的张居正定夺，这实在是一个难题。张居正有自知之明，自己不通水利，所以在治黄问题上，决不固执己见。他多方征询意见，虚心求教，反复与有关官员协商探讨，务求制定一个行之有效的治理方案。同时，张居正感到，选用一位有胆识、有见地的治黄专家，是治理好黄河的关键，而选拔人才，恰为张居正所长。他慧眼独具，一旦认准了人才，又会给予充分的信任与支持。选拔和任用人才之能，对于日理万机的首辅来讲，是比水利知识更为可贵的东西。还有，张居正认为治黄是对国计民生有利的大事，依他的性格，便会不怕困难，不畏浮言，不惜工力、财力，也不怕暂时的失败，一抓到底，务求解决。这种素质和作风，对于难度极大，又极复杂的治黄工程来讲，是一个难能可贵而又十分必要的支持。这些治黄的有利条件，是张居正所具备和他所创造出来的，因此可以说，没有张居正，万历年间对黄河的治理便不可能有巨大的成效。
张居正对治黄始终给予了极大的关注。万历二年，黄河决堤后，官员们有各种不同的看法，有人以为海口淤积，至使河流四滥，有人提出筑遥堤不便，张居正遂给河道总督傅希挚去信，征询他的看法，并再三与之研讨。最后，傅希挚提出重开泇河，即以泇河为新水道，不必借黄为漕，以免因黄河决口，导致漕运不通。这一建议，在隆庆四年（1570年）时，当时总理河道的翁大立便曾提出过。张居正认为此议可行，尽管事体重大，费用估计高达七、八百万之巨，但是张居正决心给予支持，他鼓励傅希挚为国家肩此重担，“坚持初议，勿夺群言”。可是工部与户部在议论时，提出了不同的意见，工科给事中侯于赵认为，开泇河必经良城，良城伏石多，土石之工巨大。而户部则认为，治河为当前之急务，而开泇河非数年不成，难解当下之急。傅希挚态度又不坚决。在这种情况下，张居正只好放弃开洳泇的计划。他认为，这些官员对于国家大事，推诿搪塞，只会说利道害，沽名任事，却不肯实干。更主要的，张居正感到傅希挚对自已有根据的提议，尚不能坚持，这样的人，恐怕难以承担治黄的大任。
万历三年九月，南京工部尚书刘应节、右侍郎徐栻上疏，请开胶莱河为新水道，张居正因为上次开泇河败于议论之中，这次，遂不待复勘，迳派徐栻前往山东，会同山东巡抚李世达办理此事，并以上谕加以督促。可以看出，张居正要解决此事的迫切心情。然而，这一次，以意见分歧，各有所见，李世达和徐栻亦动摇，又告失败。
经历了两次的失败，张居正认识到，重开新水道困难颇大，难于实现。于是便把注意力集中到治理黄河上。“独河漕之事，时往来于怀”。他在物色能够独担治河大任的干才。
万历三年，吴桂芳总督漕运。万历四年二月，吴桂芳提出，黄河入海口只有云梯关一处，致使海涌横沙，河流入海不畅，遂至泛滥，建议多开黄河入海口，使黄河顺利入海，则淮水亦可顺利出海，高邮、宝应等地的水患，便可以缓解。吴桂芳提议，增开草湾及老黄河故道，以增加入海之道，修筑高邮东、西二堤以蓄湖水。张居正以吴桂芳之议可行，认为但讲治水，不讲治海，恐怕难收成效，遂以极大的热情予以支持，他鼓励吴桂芳“虽弃地勿惜，碍众勿顾”，“坚定而力图之”。在张居正的全力支持下，吴桂芳开始疏浚草湾。其间，浮言众议，自是不可避免，然而有张居正在背后支持，吴桂芳又是一个有主见的人，草湾工程终于在万历四年七月竣工。吴桂芳得到褒奖。但是，正当吴桂芳修筑高邮湖堤之时，淮水冲下来，兴化、泰州一带，皆为水淹。
明代管水道的大臣是河道总督，另设漕运总督，负责漕粮，但因漕粮运输与黄河、运河水利密切相关，从淮安到茶城又借河为漕，所以河、漕两个机构经常发生矛盾、摩擦。张居正感到，河、漕分为两个机构，不便于统一管理，又徒增摩擦牵涉，于是在万历六年（1578年），将河、漕两个机构合并，以吴桂芳总理河漕。这表明了张居正对吴桂芳的信任和倚重。但是，吴桂芳不幸于万历七年（1580年）正月病逝。
张居正在草湾工程开工时，便认识到，疏浚草湾，只可救淮扬一时之急，而根本解决同题的长远之计，尚待他日有能者任之。吴桂芳病逝后，万历七年二月，张居正起用潘季驯总理河漕，可谓得人，潘季驯便是张居正所期待的足付重托之人。
潘季驯，字时良，乌程（今浙江吴兴）人，嘉靖二十九年（1550年）进士，嘉靖四十四年（1565年）总理河道，与朱衡共开新河。隆庆四年，黄河在邳州、睢宁决口，朝廷再次起用潘季驯总理河道，堵塞决口，由于他与其他治水官意见不合，又得罪了当道，被撤职，在家闲居。隆庆至万历五年（1577年）之间，连年治河均无功效，正是在这种情况下，张居正推荐潘季驯治河。
