朱元璋对政制的改革是通盘考虑，协调进行的。最先取得成绩的是对地方政权机构的改革。
明朝初年，沿袭元朝的制度，在地方设行中书省。元朝行中书省是大都中书省的派出机构，职官的设置和中书省一样，中书省有什么官，行中书省也有什么官，统管一省的军政、民政、财政大权，地位重要，权力又大，便形成枝强干弱，权倾中央，地方专横跋扈的局面。到元末，四方兵起，中央更是指挥不动，一个行中书省实际上就是一个独立王国。朱元璋曾做过小明王的行中书省丞相，当时，他根本没把小明王放在眼里，因此，他对元代设置行中书省的弊害是了解得很透彻的。现在，他做皇帝，怎能容忍下面的行省把自己当元顺帝和小明王看待呢？他要把地方大权集中朝廷，只许下面奉令惟谨。
早在1367年，朱元璋就设置了各道按察司，以按察使为长官，让他们秉承自己的意旨监督地方军政要员。
1371年（洪武四年），又在各行省设都卫指挥使司，1375年（洪武八年），改制为都指挥使司，直属中央的都督府，负责统领一省的卫所。
1376年（洪武九年），朱元璋把行中书省改为承宣布政使司，简称布政司，设左、右布政使各一人。布政使是从二品官，比以前行中书省平章政事的从一品低了两级。而且布政使是中央派驻地方的使臣，负责宣传和执行朝廷的命令，其权力范围只限于民政、财政和作为地方最高司法机关，并且事事都得秉承朝廷的意旨，不得便宜处置。
布政司行政区域与元朝的行省大体一致。全国分为浙江、江西、福建、广西、广东、云南、四川、北平、山东、河南、陕西、湖广、山西十三个布政司，另外设一个直隶归中央直接领导。1403（永乐元年）年，明成祖改北平布政司为北京，并于1420年（永乐十九年）迁都北京，南京成了陪都。这样，明朝就有了两个直隶，在南方的前边加上“南”字以示区别。1407年（永乐五年），增设交阯止布政司，1413年（永乐十一年）又开置贵州布政司。1428年（宣德三年），明政府罢交阯布政司。至此，全国除两直隶外，仍为十三个布政司，一直到明朝覆亡都没再改变。因为人们叫惯了行中书省这一名称，所以虽然改为布政司，但口头上仍称行省，或简称省。布政司之下，有府（或直隶州）和县（或州，又称散州）两级地方政府，这也简化了元朝的设置，减少了政令下达的层次，使中央对地方的指挥更灵便。
掌管一省行政和司法监察的提刑按察使司（简称按察司，长官为按察使，正三品）、掌管一省军政的都指挥使司（简称都司，长官为都指挥使，正二品）和布政司合称三司，彼此互不统辖，都直接听命于朝廷。这一改革，把行省的权力一分为三，并且三司互相牵制，达到了将权力收归中央的目的。
中央政制的全面改革略晚于地方。1380年（洪武十三年），朱元璋杀了胡惟庸，宣布废除中书省和丞相制度，提高中书属下吏、户、礼、兵、刑、工六部的地位（从正三品升正二品），使六部分理朝政，各部尚书对皇帝直接负责，奉行皇帝的命令。六部分任而无总揽之权，政务由皇帝亲裁，朱元璋实际上是以皇帝兼行宰相的职权，将中央集权的君主专制发展到了高峰，他也成了历史上权力最大的君主之一。
中央的监察机关叫都察院。洪武初，承元制设御史台。1380年废中书省时也废掉了御史台的御史大夫、中丞等官，只保留察院和监察御史。1382年（洪武十五年）改设为都察院，长官为左、右都御史，正二品，此外还有左、右副都御史，左、右佥都御史作为副手。都察院和六部的长官，习惯上称为“七卿”，是朝廷最重要的职官。都察院领有监察御史110人，按布政司分十三道管事，每道有一人为掌道监察御史。都察院的职仪是纠劾自官，辨明冤枉，凡是大臣奸邪、小人构党、擅作威福、扰乱朝政者，或是贪污舞弊、学术不正、变乱祖宗制度者，都必须检举弹劾。十三道监察御史在京则监察一切官僚机构，监视所有文武官员；出使到地方则为巡按、清军、提督学校、巡盐、巡漕、巡关、监军等。其中巡按御史是代替皇帝巡视地方，按临所至，小事立断，大事奏裁，权力最大。监察御史本是七品小官，品级和地方上的芝麻官——知县一样大。但是，朱元璋以小制大，以内制外，利用他们来钳制大官，赋予他们什么话都可以说、什么王公大臣都可以告发的权力，甚至告发公卿大臣时可以不要什么真凭实据，只要凭道听途说，称作“风闻奏事”。这些人实际上是皇帝的耳目和鹰犬。监察御史弹劾大臣时，一般都须密承皇帝的旨意，只是到1436—1449年（正统时期）才有了自由弹劾权。不过，弹劾若失败，则监察御史本人会受到惩罚。
中央的监察机关还有吏、户、礼、兵、刑、工六科。六科互不统属，每科设都给事中（正七品），左、右给事中（从七品）、给事中（从七品），总人数通常为58人。六科的主要职责是监督六部与中央各衙门的日常行政，防止伪传圣旨。他们也拥有弹劾百官，提出政治建议的权力，与监察御史合称为“科道官”，又称“言官”。
中央有个专掌司法复核的机关，称为大理寺。长官为寺卿（正三品），下有左、右少卿，左、右丞等若干人。大理寺与都察院、刑部合称三法司。凡有重大案件，必经三法司会审。
朱元璋是依靠造反起家的，深知控制军权的重要性。1380年废中书省时，他也把都督府一分为五，设立左、右、中、前、后五军都督府，分统各都司、卫、所。各府设左、右都督（正一品）、都督同知（从一品），都督佥事（正二品），没有定员，是用来安置那些有功于国家的武官的。真正掌握府事的是由皇帝任命的公、侯、伯等勋臣。只有资历特别老的都督才能掌管府事。明朝军队的平时组织与战时组织是不一样的。五军府、都司、卫、所是平时组织。这一平时组织的军政事务，如军官的世袭、升转、军士的补充、清勾，由五军府作为中央的主管机关，然后转达兵部，所以，在军政事务上，五军府只不过是个联系兵部与都司、卫、所的中介机关。有战事时，则由兵部请示皇帝，从公、侯、伯和五府都督中选任将帅，充当总兵官、副总兵官、参将、游击，统率从各卫所调集的军士作战。战事结束，军归卫所，主帅还印。这一制度在于利用文、武互相制约，平战军事组织分开，形成“将不专军、军不私将”的局面，以避免悍将跋扈、骄兵叛变的弊端，使军队牢牢控制在政府与皇帝的手中。
中央还设有翰林院、通政司等衙门。
1395年（洪武二十八年），朱元璋临御奉天门敕谕文武百官说：自古三公论道，六卿分职。自秦始置丞相，不旋踵而亡。汉唐宋因之，虽有贤相，然其间多有小人专权乱政。我朝罢相，设五府、六部、都察院、通政司、大理寺等衙门分理天下庶务，彼此颉颃，不敢相压，事皆朝廷总之，所以稳当。以后嗣君，并不许立丞相。臣下敢有奏请设立者，文武群臣，即时劾奏，处以重刑。
这条敕谕总结了朱元璋几十年来政制改革的重要方针与方法，同年又被收入《皇明祖训条章》中，当作一条子孙永远不得改变的根本大法。
但是皇帝兼任宰相事务，毕竟太累，即使圣明勤政如朱元璋，也感到需要人帮助看章奏，出主意。于是在1382年（洪武十五年）设置华盖殿、文华殿、武英殿、文渊阁、东阁等殿阁大学士，以品级较低的翰林院编修、检讨等官充任。在朱元璋统治时期，这些人只不过是帮他阅读奏章，处理和起草文书，备为顾问而已，没有什么权力。而且从1385年（洪武十八年）10月以后就没有再任命殿阁大学士。到成祖夺取帝位后，就特意选拔解缙等7位翰林院官员任殿阁大学士，开始参预机务（国家大政方针和用人等重要事务的决策）。殿阁大学士的办公处所是在内廷的文渊阁，又经常随侍天子于殿阁之下，人们避宰相之名，就称之为“内阁”。阁臣虽能参预机务，但品级低下（大学士是正五品官）。到了仁宗、宣宗时期，阁臣都是几朝元老，兼衔都到了尚书（正二品）、少保（从一品），内阁的地位也就升高了。在宣宗时期，内阁还取得了“票拟”的权力。所谓票拟，就是对皇帝交给需要处理的章奏，提出处理意见，用墨笔写在一张纸条（票）上，供皇帝参考。在票拟中，内阁各成员的地位是不同的，一般说来，资历最老、入阁最早的阁臣的意见具有决定性作用，这位阁臣就被称为“首辅”，其他人就称为“次辅”等等。对于阁臣的票拟，皇帝若是同意，就用朱笔抄写到章奏上，称为“朱批”，不然就让阁臣重拟，或是不经票拟，经自朱批，称为“旨从中下”。
阁臣比较接近皇帝，又掌握了票拟权，宣德以后又常常以尚书、侍郎的官衔兼大学士入阁办事，所以出现了像严嵩、张居正那样权力几乎可与真宰相等同的首辅。
不过，内阁首辅毕竟不是宰相。宰相是百官之长，六部都是他的下属，不但掌握决策权，而且掌握行政权。内阁则没有下属衙门，除了通过私人关系外，不能指挥六部大臣和地方大员。在宰相制度下，除近侍衙门可以直接向皇帝奏事外，公卿大臣奏事都必须经过宰相，所以皇帝看见的臣下章奏，是经宰相筛选过的，因此洪武初年，胡惟庸任丞相时可以把不利于自己的章奏扣下，蒙蔽朱元璋。而内阁与一切衙门都不得有公文往来，办理的章奏都是由皇帝交付的。另外，皇帝对阁臣的票拟可以采纳，也可以置之不理。英宗以后，很多皇帝不见阁臣，甚至将批红权交司礼太监，所以黄宗羲说：“阁臣之票拟，不得不决于内监之批红。”明朝专权宦官很多，就是这样造成的。而之所以能出现严嵩、张居正那样大权在握的阁臣，在于他们与皇帝、宦官等人的私人关系非同一般。然而，他们逃不过皇权的掌心。虽然能权倾一时，但并不能危害皇权。这是朱元璋的高明。也是他子孙的孝顺。
到宣德时期（1426—1435年），地方政制也有调整。原来在古代依靠骑马、驾船、步行送信的通信条件下，中央政府要对几千里以外的事变作出及时的反映并让地方政府有效地予以执行，是十分困难的。另外，中央政府与地方政府的利益毕竟有差别，地方的事务完全由中央操纵，中央只顾及如何保持以往的状况，不考虑或无法考虑地方的发展。所以，在三司体制下，往往出现地方的“盗贼”不能扑灭于尚未燎原之时，有的地方，如江南，甚至拖欠税粮达八百余万石，严重影响了明政府的统治效能。所以，1430年（宣德五年），明朝廷就派遣兵部侍郎于谦、户部侍郎周忱等五人巡抚山西、河南、江浙一带。这是明朝政府正式往全国各地派遣巡抚。到嘉靖时（1522—1566年），巡抚就成为各省常设的职务。巡抚是皇帝的钦差，职权由皇帝颁给的敕谕规定，既有民政与司法权，又掌握了监察、统兵作战的权力，三司后来实际上变成了巡抚的下属。不过巡抚的权力受到巡按、镇守太监等多方面的制约，因此没有发展成唐代后期的藩镇。
明代巡抚虽然实际上成了一省常设的最高军政长官，但并没有脱去临时派遣的色彩。巡抚本身只是一种职务，没有品级，担任巡抚官员的品级由他在原衙门的官职决定，升迁也在原衙门进行。巡抚的辖区也不固定。
在巡抚上面还有兼管数省的总督，权力更偏重于军事方面。总督巡抚制度被清朝继承，予以了整齐化。
地方政制的这种变化，提高了省级政权的效能，像王守仁及时镇压了宁王朱宸濠的叛乱，周忱成功解决了江南拖欠税粮的问题，都是很明显的事例。
