胡适当过两次校长。第一次在他的母校——上海中国公学，第二次在被他视为母校的北京大学。有意思的是，两次当校长都为政治原因而离任，但是他所坚持的办学模式、教育理念、思想原则、文化追求，却是一笔丰富的遗产，值得仔细清理、认真研究、不断学习、好好继承。
胡适就任中国公学校长是在1928年春天。这所学校成立于1905年，是由中国留日学生创办的。当时日本文部省公布了《取缔清国留日学生规则》引起中国留学生强烈抗议，陈天华愤而蹈海，大批留学生退回上海，自行筹办了这所学校。1906年至1909年，胡适曾在这里读书，从他的《四十自述》中可以看出，该校对他的成长起过至关重要的作用。
胡适离开中国公学后，以庚款留学生身份赴美国留学。学成回国后，一直在北京大学任教。1926年7月，他借出席伦敦“中英庚款委员会议”之机做环球旅行。没想到1927年4月即将回国的时候，中国政局发生了翻天地覆的变化。从许多朋友的来信中，可以看出这种变化对胡适非常不利。
张慰慈说：“现在北京一般人的口都已封闭，什么话都不能说，每天的日报、晚报甚而至于周报，都是充满了空白的地位，这期的《现代评论》也被删去两篇论文，这种怪现象是中国报纸的历史上第一次看见。同时一切书信与电报都受到严格的检查，听说被截留的甚多，并且无故被捕的人也不少。上海的情形也与北京相同。”
高梦旦也说：“时局混乱已极，国共与北方鼎足而三，兵祸党狱，几成恐怖世界，言论尤不能自由。吾兄性好发表意见，处此时势，甚易招忌，如在日本有讲授机会或可研究哲学史材料，少住数月，实为最好之事。”
面对这种局面，胡适在日本稍事停留后还是回到上海。因无法返回北京大学，他只好就任光华大学教授并在东吴大学兼课。第二年春天，中国公学爆发学潮，学校董事会先后推举于右任、蔡元培出任校长都被学生拒绝，理由是“于、蔡二人道德学问虽好，可惜兼职太多，恐不能专心办学。”无奈之下，关心公学命运的王云五、朱经农等人找到胡适，请他出山，以解危难。
在朋友劝说下，他答应维持两个月，到本学期结束后就辞职。即便如此，他也有点后悔，认为这是给自己“套上一件镣铐”，两月后胡适提出辞职，校董会为了挽留他，特设副校长处理行政事务让他有更多的时间从事学术研究。
胡适上任后，受到师生的热烈欢迎。他发现学校连一本正式校规都没有，便首先召开校务会议，通过“校务会议组织大纲”、“教务会议组织大纲”和“学校章程起草委员会”等议案。他说：“我想从组织与法律两方入手，不知有效否？”
有了规章制度以后，胡适对学校事务便采取无为而治的态度。副校长杨亮功说：“胡适对于学校行政常以‘无为而治’自嘲，实际上他是以无为而为，与自然主义教育家卢梭以不教而教同是一样的态度。胡适只注意于学校的重要问题，付与各主管以事权，并为之排除困难，因此养成各人自动自发的工作精神。”
所谓“无为”，并不是什么也不干。胡适上任时，全校共有三百多学生，分散于四个学院十七个系，致使学校经费异常困难。为此，他大刀阔斧地裁掉工学院、法学院和经济系，只设文理学院和社会科学院以及中文系、外语系、哲学系、数理系等7个系。为了沟通文理，他亲自兼任文理学院院长，让有志于数理的人学点文史知识，有志于文史的人学点自然科学。事实证明，胡适的这一做法效果很好，比如吴健雄当年是数理系的学生，却肯在文科方面下很大功夫。有一次她还在胡适指导的作文课上获得100分，这件事不仅对吴健雄的影响很大，也成为胡适津津乐道的话题。
为了提高教学质量，胡适请来一大批著名的学者前来任教，其中有人们熟悉的高一涵、张慰慈、杨亮功、罗隆基、梁实秋、郑振铎、陆侃如、冯沅君、全增嘏、叶公超、饶孟侃、黄白薇等。这里特别要指出的胡适用人不仅看学历，更注重学力。比如他当时延聘沈从文，人们就有非议，觉得沈从文仅仅是小学毕业，又没有学术论文，怎能到大学上课？何况沈从文还不擅言词，第一次登台就因为胆怯，在讲台上站了十分钟说不出一句话，搞得非常尴尬。但是胡适却坚信自己的眼力，后来沈从文也的确是深受学生的欢迎。这在今天简直是天方夜谭，是不可思议的事。
在胡适的努力下，中国公学很快改变了过去的形象。一年间，学生由300多人猛增至1300人。后来，一位学生在写给胡适的信中说：“中国公学我不敢说它好，但我可以说它奇特，为什么呢？思想自由，教职员同心协力，有向上的精神，没腐化的趋势，就凭这点，在全中国可说是找不到的。”他还说，我的进步应该“感谢您和陆先生（侃如）、沈先生（从文）的思想言论”。
这种局面的形成，首先与胡适对“党化教育”的抵制有关。推行“党化教育”是国民党掌握政权后的基本国策。1929年4月颁布的《中华民国教育宗旨及其实施方针》指出：“各级学校之三民主义教育，应与全体课程及课外作业相贯连，……以收笃信力行之效。”随后公布的《三民主义教育实施原则》规定，在大学设立党义课程的目的是：“一、应以阐扬孙中山先生全部遗教及本党政纲、政策及重要宣言为主要任务。二、应以理论事实，证明三民主义为完成国民革命，促进世界大同之唯一的革命原理。三、应依据三民主义，比较批判其他社会主义学说。”此外，大学生还要“一律参加孙总理纪念周及其他革命纪念日，以增进爱护党国之精神。”把一个人或一种思想神圣化是专制制度的主要特征。它的目的就是让全体国民变成不会思考的驯服工具。面对这种局面，胡适采取了抵制的态度。
胡适为什么要这样做呢？任鸿隽在《独立评论》上发表的两篇文章，他说：“教育的目的，在一个全人的发展，党的目的，则在信徒的造成。教育是以人为本位的，党是以组织为本位的。”因此当人的利益与组织利益冲突的时候，自然要牺牲人的利益了。在这方面，胡适堪称大学校长的楷模。
树立良好学风，已经成为当今学界的一句口头禅，但什么是良好学风，却似乎无人追究。胡适担任校长后，同事们办了个《吴淞月刊》，“目的在于鼓励我们自己做点文字”。为此，他在发刊词中立了“两条戒约”：第一要小题大做，不要大题小做；第二“要注重证据，跟着事实走，切忌一切不曾分析过的抽象名词”。
早在五四时期，胡适就写过《多研究些问题，少谈些主义》。这件事似乎早已成为定论，但是仔细读一读他的文章就会有另外的感觉。事实上，当年胡适反对的正是“一切不曾分析过的抽象名词”。他认为只知道高谈主义却不想研究问题的人是“畏难求易”的懒汉，而“偏向纸上的主义是很危险的”。
1928年7月，胡适决定继续担任公学校长时写了一篇题为《名教》的文章。这篇文章是“问题与主义”思想的继续。文章说，所谓名教就是信仰“名”、认为“名”是万能的一种宗教。什么是“名”呢？胡适认为“名”就是字或曰文字，而名教就是崇拜文字的宗教。他说，名教的具体表现不可胜数，从古人生辰八字、名号避讳，到如今的标语口号都是名教的“正传嫡派”。比如革命者贴一张“打倒帝国主义”与豆腐店老板贴一张“对我生财”完全一样。他还说：“南京有一个大学，为了改校名，闹了好几次大风潮，有一次竟把校名牌子抬了送到大学院（当时的教育部）去。”
如何才能改变这种状况呢？除了上述“两条戒约”外，胡适在1928年写过一篇《治学的方法和材料》，其中谈到治学既要有科学的方法，又要有鲜活的材料。所谓科学的方法就是“尊重事实，尊重证据”，即“大胆的假设，小心的求证”；所谓鲜活的材料则是要摆脱纸上的学问，从故纸堆中走出来，到科学试验室里去寻找材料。只有这样，才能摆脱名教的影响，建立良好的学风。后来，他在学校以“怎样医治浪漫病”为题举办讲座也谈的是这个问题。他告诫学生：“浪漫病就是懒病，懒人没有做学问的兴趣，只有打破浪漫病，才能研究学问。”
胡适重视同等学力不仅表现在聘请教授方面，还表现在招收学生上。他虽然不管具体事务，却对许多事情非常留心。比如每年招生结束以后，教务处总要发出大批公函，向考生所在学生查询文凭真伪，如果发现假文凭，便照章开除。但这件事操作起来十分不便。有的学校根本不存在，发出的公函只能石沉大海；有的学校回信后，学生已经上了半个学期的课。他不忍心开除这些学生，便建议教务处看看他们开学后的成绩，对学习好的从宽发落。然而教务处的人却不愿开此先例，“所以我们只好硬起心肠来干那‘挥泪斩马谡’的苦戏”。后来，胡适还发现在学生遗弃多年的杂物中，有一个大学的公章和一枚校长的私章。这显然是伪造证件的证据，然而作伪者早已毕业。
另外，他还听说四川有位校长每次外出都要带些空白毕业证送人。起初他还不相信，1929年他在北平，一位本家居然同他商量让他的侄子去考清华。他听了很吃惊，说自己的侄子初中刚毕业，怎么可能去考清华？对方说，一位朋友是中学校长，他可以办一张高中毕业证。胡适气愤地说：“我们家的子弟怎么好用假文凭！”气愤归气愤，但面对这种情况，胡适知道这种文凭的确是“真”的，无论怎样去查也不能证明其假。
胡适认为，这种状况从根子上说与教育部有关。当年教育部废除具有同等学力者可以报考大学的规定才使假文凭泛滥起来。如果不能容许具有同等力者报考大学就等于“政府引诱青年犯罪”，就不会从根本上消灭假文凭现象。
重视同等学力是胡适的一贯主张。1934年，他在《大公报》发表《谁教青年学生造假文凭的》一文，把上述事实和想法写了进去。1937年7月，他在庐山谈话会讨论教育问题时，又提出承认同等学力是“救济天才，以阻止作伪犯罪”的好办法。只有唯学历，才有伪学历。看看胡适对同等学力的重视，对于如今治理办假证现象，也应该有所启发。
胡适在中国公学任职时间虽然很短，但是他的所作所为却可圈可点。从他对学校运动会的认识，我们就可以有所了解。
胡适从小体弱多病，不大喜欢运动。到美国后第一次观看橄榄球比赛，在队员的厮杀和拉拉队助威声中，他有些不习惯，心想：“这真是罗马时代的角抵和斗兽的遗风，很不人道的”。随着对西方文明的深入了解，他认识到体育不仅可以锻炼身体，对人格的养成也具有非常重要的作用。
大约在1930年春季，中国公学要召开学校运动会，为了让同学们踊跃参加，正确对待竞赛中的胜败，他亲自撰写运动会会歌。这首歌的歌词如下：
健儿们大家向前，
只一人第一，
要个个争先。
胜固然可喜，
败亦欣然，
健儿们大家上前。
健儿们大家齐来。
全体的光荣，要我们担戴。
要光荣的胜，
光荣的败，
健儿们大家齐来。
