蔡元培担任教育总长之前，曾经受人资助，于1907年，当中国在欧洲的留学生还寥若晨星的时候，就以一位“名翰林”的身份，随同中国驻德公使孙宝琦一道，坐火车经西伯利亚，去德国自费留学。
到德国后，他先在柏林住了一年，学习德语，并且编书、给人做家庭教师，换钱胡口。第二年秋天，进入著名的莱比锡大学，学习哲学、文学、文明史和人类学。不过，他下工夫更多的，还是实验心理学和美学。他曾经到实验心理学研究所，在老师指导下试验人体各种官能的感觉迟速程度。这对一个来自东方封建国家的年轻学子来说，是要有相当胆识的。他还到世界文明史研究所专门研究比较文明史，并在课余时间请老师到寓所来讲授德国文学。4年里，他编著了5册《中学修身教科书》、1册《中国伦理学史》，还翻译出一部《伦理学原理》。《伦理学原理》曾经对青年毛泽东发生过很大影响。毛泽东在这本书上写了一万多字的批语，还写了读书心得《心之力》，受到老师杨昌济先生高度赞赏。后来，毛泽东在谈到这本书对他的影响时，曾经说：“我们当时学的尽是一派唯心论，偶然看到像这本书上唯物论的说法，虽然还不纯粹，还是心物二元论的哲学，已经感到很深的趣味，得了很大的启示，真使我心向往之了！”
在莱比锡，他听一位朋友说吃肉很有害处，又在阅读俄国大作家托尔斯泰的作品时，见其中描写打猎的情形非常残酷，于是决定不再吃肉，只吃蔬菜。他还在给朋友的信中说，蔬食有三大好处：卫生、戒杀、节用。他本人所以不吃肉，则主要是出于“戒杀”的缘故。在生活上，他从来就没有任何多余的欲望。
1912年7月，蔡元培为反对袁世凯的独裁专制，觉得当官可耻，便约宋教仁等几位同盟会员一同退出内阁，他本人因而辞去教育总长的职务。辞职那天，他和宋教仁等人来到总统府，袁世凯一方面假装好人，一方面想继续利用他，便说：“我代表四万万人坚留总长。”蔡元培回答：“元培也对于四万万人之代表而辞职。”意思是说，他的辞职是为了对得起全国的老百姓。这时，他听说有一个留学生的空缺名额，出于不断充实自己的考虑，便写信请求教育部把这个名额留给他。教育部的人非常为难，觉得蔡元培是前任教育总长，怎么好去做留学生呢？可蔡元培又非常穷，如果不给予资助，他本人根本就去不起。于是，他们想了一个办法，为蔡元培筹集到一些钱，对外只说是让他到欧洲去游览，实际上依然是留学。窃国大盗袁世凯占据着大总统的宝座，也正有意把蔡元培赶到国外，免得他在国内“捣乱”。因此，蔡元培便在这年秋冬，以46岁的年龄，第二次来到德国东部名城莱比锡，仍在大学听讲，并进世界文明史研究所研讨学问。转年3月，袁世凯派人在上海刺杀了革命党人宋教仁，引起全国人民的愤怒。孙中山决心与袁世凯决裂，便召蔡元培回国一同斗争。6月，他一回到祖国，就发表文章大骂袁世凯恣行暗杀、蹂躏人权、祸国殃民，鼓动群起讨袁。还为国学大师、他的老朋友章太炎先生与汤国梨女士充当了证婚人。但他的主要活动，是参加了孙中山、黄兴等人领导的讨伐袁世凯的“第二次革命”。不久，“第二次革命”遭到失败。蔡元培决定带着家属去法国。
1913年10月，蔡元培来到法国，一住就是3年。这是他第三次到欧洲研究学术，主要学习法语，进行写作和翻译。为筹措出国费用，他与商务印书馆定有协议，到达欧洲后，必须每日以半天时间为商务编写书籍，商务则每月给他200元钱作为稿费。但是，尽管他认为自己的性格最适合搞学问，却没有完全关在书斋里，而是与李石曾、吴玉章、吴稚晖等人一起，发起一项重要活动——留法勤工俭学，从而揭开近代中国留学史上别具风采的一章，他本人也以崇高的声望和教育家的务实精神，众望所归地成为旅法学界的一面旗帜。
就当时而言，不留学，就不能真正学习并体会到西方的先进知识；要留学，费用又太高。勤工俭学是克服这个矛盾的有效办法。“勤于工作，俭以求学，以进劳动者之智知”就是所说的勤工俭学及其宗旨。蔡元培同吴玉章等朋友一起，为留学生做了许许多多好事。
初到法国，蔡元培对旅法的中国学生和工人的状况进行了考察，并经常为同学们作学术演讲。1914年8月，第一次世界大战的火焰燃及法国，同学们的国内汇款难以寄达，许多学校被迫关闭，学生们纷纷要求回国。为劝说同学留下，蔡元培与李石曾等人组织了“旅法学界西南维持会”，蔡元培亲自撰写该会的通告，劝导学生完成学业，并帮助同学们进入没有战火的法国西南部，找寻学校，筹措学费，总算平复了这次危机。
战争使法国的劳动力严重不足，因此，有许多中国工人被招到法国工作，称作“华工”。华工大多文化水平低，加上来到异国他乡，语言不通，所以往往受法国人欺负，而且明明被欺负了，也不知道到哪里去讲理、如何去讲理。为维护同胞的利益，也为了中国人的尊严，蔡元培又担负起对华工的教育工作。1916年6月，他与吴玉章及法国朋友等人一起，发起组织留法运动的权威组织“华法教育会”，并担任中方会长。在这个组织的领导协调下，蔡元培给华工争回一些权利。例如，干一样的活儿，中国人拿钱少，法国人却拿钱多。蔡元培与大家经过努力，华工与法国工人实行了同工同酬。蔡元培还创办并主编了《旅欧杂志》，建立了华工学校，为在法国工作的中国工人编写教材，从事教育实践活动，大大推动了勤工俭学运动的发展。华工学校里开设法文、中文、算术、图画、工艺、卫生、修身等课程，蔡元培亲自讲授德育和智育课。通过学习，工人们增长了知识，提高了素质，许多人回国后成为有文化有见识的优秀技术工人，为国家建设做出了贡献。其后，蔡元培虽然回国，但对勤工俭学的领导组织工作并没有停止，而是更加大规模地开展起来。留学工作的组织机构也随着他与李石曾的回国而转回国内。
留法勤工俭学运动最伟大的贡献，是为中国工人阶级造就了一批坚定的马克思主义者和共产主义战士，培养出一大批新中国的杰出领导人。比如，周恩来、邓小平、聂荣臻、陈毅、吴玉章、向警予、蔡和森、赵世炎、陈延年、王若飞、李富春、蔡畅等人，都为新中国的建立作出过重大贡献，也都是留法的。革命老人吴玉章曾经饱含深情地说：“这也应归功于孑民先生倡导勤工俭学之力！”
没有人能说清蔡元培为留法勤工俭学运动做了多少事，付出了多少心血。然而，在繁忙琐碎的工作过程中，他从来没有忘记学习，没有忘记写作。他本人学习起来特别刻苦。夏天，天气酷热，他把房门关起来，脱掉衣服，埋首苦读。朋友来访问，从门缝中一瞅，见他独坐室中，袒胸露背，专心读书，便轻步退回，不再敲门。就是在这种艰苦的环境中，他编著了《哲学大纲》一书，还编著了《欧洲美学丛述》、《欧洲美术小史》等著作的若干部分。最有名的，是他撰写了《石头记索隐》一书，专门考证古典名著《红楼梦》的历史真实成分，使他成为“红楼梦研究”史上有名的索隐派代表。说起所谓“红学”，人们总要提到这部《石头记索隐》。
