明初官僚机构的设置基本上沿袭了元朝的体制。元在中央设三大府：中书省，设丞相，下辖六部，职掌行政事务；大都督府，统管军事；御史台，职掌监察事务。地方设行中书省，置平章政事，总管地方事务。行中书省是中书省的地方机构，中书省设什么官，行中书省也就有什么官。这样，行中书省就把地方的军权、政权和财权集于一身。但地方官员们地位高、职权重，朝廷的权力下移且分散，使政策得不到坚决执行。尤其在元朝末期，四处兵起，地方拥兵割据，中央指挥失灵，因此导致了覆灭的命运。朱元璋逐渐认识到其中的弊端，于是着手进行大规模的改革。
首先是废除行省制。洪武九年（1376），朱元璋宣布废除行中书省，设立承宣布政使司、都指挥使司和提刑按察使司，分别担负行中书省的职责。三者分立，互不统辖又互相牵制，直接归朝廷管理，能有效防止地方官员权力过大。当时全国共分为浙江、江西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西12个布政使司，洪武十五年（1382）又增设云南布政使司。
在军事上，朱元璋废除了管理全国军事的大都督府，将其一分为五，即中、左、前、后、右五个军都督府，并和兵部互相牵制。兵部有权颁发命令，但是不直接统率军队；都督府掌管军队的管理和训练，但是没有调遣军队的权力。这样，兵事大权便集中于皇帝之手。
诏天下府、州、县设立学校
洪武二年（1369）十月，朱元璋诏令地方郡县设立学校，并规定了学校的规模。其中府学40人，州学30人，县学20人。主要的学官，府设教授，州设学正，县设教谕。到了后来，府、州、县学的学生规模屡有增加。府、州、县学的学生，在学年久，可以保送到京师最高学府国子监深造，从而获取一官半职，但更多的是直接通过科举考试求得功名。中央的国子学，早在朱元璋建立江南吴政权时就已经设立，后改名国子监，是全国的最高学府。在洪武八年（1375），明朝政府又下令各地农村建立社学，用来教授民间子弟，后来因为地方官员扰民，曾一度停办，至洪武十六年（1383），又让民间自办社学，自己聘请老师教授学生。学校的功课，主要有“五经”、“四书”、《御制大诰》、《大明律》等等。明朝政府非常重视兴办学校，加上明朝科举制度的发展，入学读书的人数比前代大大增加，明代人形容说“家有弦诵之声，人有青云之志”。可以说，明朝的学校体系比以往任何朝代都要完备。
朱元璋改革体制的重点在中央统治机构方面，而中央统治机构改革的重点则是废除丞相制。明初的中书省负责处理天下政务，地位最高。其长官分为左、右丞相，总管吏、户、礼、兵、刑、工六部事务，拥有相当大的权力。在很多问题上，丞相容易与皇权发生矛盾，朱元璋时刻感到如芒刺在背，非拔除不可。洪武十三年（1380），朱元璋假借擅权枉法的罪名处死了丞相胡惟庸等人，同时宣布废除中书省，不再设丞相，以后“臣下敢有奏请设立（丞相）者，文武群臣即时劾奏，将犯人凌迟，全家处死”。由此可见朱元璋集中皇权、专制统治的坚决意志。
朱元璋专制统治的另一个表现是实行八股科举和文字狱。洪武三年（1370），朱元璋下令以“八股文”作为科举取士的标准，考生必须以“四书”、“五经”为框架，代圣贤立言，按固定格式填写，不允许有自己的见解。这种考试制度的目的在于选择和培植为专制君主服务的奴才，极大地限制、摧残和扼杀了士子们的思想和才华。然而，能在这种八股科举考试中“金榜题名”，却成为了无数读书人一生为之追求的目标。
同时，对于不肯合作的地主知识分子，朱元璋也想尽办法加以镇压，其重要的手段之一就是大兴文字狱。朱元璋出身低微，早年做过和尚，所以十分忌讳“光”、“秃”等字眼，“僧”也不喜欢，就连和“僧”读音差不多的“生”也同样讨厌。他曾参加过红巾军，因此不喜欢别人说“贼”和“寇”，甚至和“贼”发音相近的“则”也十分厌恶。有许多人因此而送命，例如浙江府学林元亮替海门卫官所作的《谢增俸表》中有“作则帝宪”等语，杭州府学徐一夔奏折中有“光天之下”、“天生圣人，为世作则”等字样，朱元璋硬说文中的“则”是骂他做“贼”，“光”是光头，“生”是“僧”，是骂他做过和尚。
文字狱从洪武十七年（1384）一直延续到洪武二十九年（1396），长达十三年，造成了人人自危、不敢提笔的局面，以至于当时的文官们不得不设计并采用了一套“标准”的文牍措辞，以免惹来杀身之祸。
