聂荣臻在法国仍和在江津一样，积极投身学生运动，留法勤工俭学生的几次大规模斗争他都参加了。华法教育会突然断绝勤工俭学生救济金引起的“二八运动”，因北洋军阀政府派人来巴黎与法国政府密商借款购买军火引起的“拒款运动”，以及进占里昂中法大学的斗争，聂荣臻都是积极分子。“二八运动”和“拒款运动”都胜利了。“二八运动”争取到的救济金聂荣臻也领到了一份，“拒款运动”果然使中国驻法公使馆没敢在借款文件上签字。但是，进占里昂中法大学的斗争失败了。
勤工俭学生进占里昂大学的斗争失败以后，聂荣臻忧伤地回到巴黎。他担心押送回国的学友安危，同时也对自己的下一步感到迷茫。继续做工，还是再去读书，做工，如何实现为国求学之路？读书，又上哪弄学费和生活费呢？聂荣臻徘徊在巴黎街头，不知不觉，他又走到巴黎公社社员墙的墙边。望着栩栩如生的30多个雕像，聂荣臻心潮澎湃，他决心还是读书，为了祖国强大，节衣缩食也要读书。
偶然的机会，聂荣臻听说比利时有一所名叫沙洛瓦的劳动大学，费用比较低廉，专门教授机械、化工这些工科课程，还设有专门的寄宿学校。这些条件，法国不可能找到的，恰好聂荣臻手头有一些打工的积蓄，足够进一段学校。1921年10月，他到了比利时。
沙洛瓦是比利时的一座工业城市，煤炭工业和锅炉制造业比较发达。聂荣臻来到这座煤城，先经过这所大学附设的补习班考试，到了1922年暑期，被录取到化学工程系。
沙洛瓦大学规模不大，但校舍很讲究，设备也相当齐全，实验室也很大，尤其是师资力量雄厚，不少教员是比利时很有名望的学者教授。后来继聂荣臻之后，四川、广东两省的勤工俭学生也有不少从法国转到比利时这所劳动大学。在这里，聂荣臻很快适应了比利时的生活，学校宿舍的居住条件比在法国好，也可以经常进行各种体育锻炼，又不用一面勤工一面俭学，可以安下心来，专心致志地学习。
在这里，聂荣臻有机会阅读了《共产主义运动中的“左派”幼稚病》、《国家与革命》等。从马克思列宁的学说中，聂荣臻开始认识到，要想拯救国家民族的危亡，使四万万同胞都能有衣有食，只有建立劳工专政，实行社会主义。
后来聂荣臻说：“1920年1月到1924年9月，我在法国和比利时勤工俭学4年零9个月。这一段生活，在我的头脑里的烙印很深，因为这在我一生经历中，是完成世界观的根本转变，真正走上革命道路的起步时期。革命的起点是永远难忘的。”
在沙洛瓦劳动大学补习班补习时，聂荣臻认识了四川老乡刘伯坚。他们经常在一起议论资本主义的弊病，谈论社会主义革命，他们还在一起读国内办的革命报刊《向导》周报。1922年8月，由刘伯坚和熊昧耕介绍，聂荣臻加入了旅欧中国少年共产党。陈独秀建议不要叫少年共产党，团中央也由国内来信，表示希望与国内统一起来。这样，就改名为中国共产主义青年团旅欧支部，经巴黎召开的“少共”临时代表大会通过，聂荣臻作为比利时的代表出席了这次大会。
聂荣臻入团以后，和刘伯坚一起负责旅比支部，读马列书，发展团员，工作越来越多，相当忙碌，考勤表上多次在聂荣臻的名下注明缺课。等到1923年初，聂荣臻由赵世炎和刘伯坚介绍参加中国共产党后，工作就更忙了。那时旅欧学生中党员很少，比利时只有3名，整个欧洲只有一个党小组。聂荣臻对刘伯坚说：“精力太有限了，长久下去，也不是办法。况且所学的专业又同自己负责的工作联系不起来，干脆不学了，集中精力做革命工作。”
刘伯坚表示同意。
暑假回到巴黎前，聂荣臻去了一趟德国考察，在柏林他遇见了周恩来和朱德。从柏林返回巴黎，聂荣臻彻底放弃了沙洛瓦劳动大学的学习，把主要精力投入到团的工作中。白天他去工厂打工，因为有大学学历，得到一些技术活，工资也比较高。因此，搞革命就没有了后顾之忧。
1924年9月22日，聂荣臻奉命赴莫斯科东方大学学习。这一方面是因为订阅《共产国际通讯》和法国共产党《人道报》等红色刊物，引起法国警方注意，李富春和邓小平就是因为被通缉才离开法国的。另一方面，国共合作顺利，广东的革命形势发展很快，急需大批干部。共青团旅欧区委根据这种情况，送少数同志直接回国，多数分批选调到莫斯科东方大学学习一段时间，再回国参加斗争。莫斯科东方大学是一所培育东方各被压迫民族革命者的学校，中国学员最多。在这里，聂荣臻学习了十月革命史、俄共(布)党史、世界革命史、工人运动史，还有政治经济学等等。他还几次听过李大钊讲授的历史课。聂荣臻很喜欢李大钊的课。那时，李大钊已经是国际知名的共产主义战士了。
在东方大学系统地学了3个月后，根据共产国际的通知，聂荣臻被选调到苏联红军学校学习军事，同去的有20多人，聂荣臻担任中国班的党支部书记。当时，孙中山接受了苏联顾问鲍罗廷的建议，在黄埔办起了军官学校，党需要一批懂军事的同志去帮助办好这所学校，苏联红军学校的中国班就为此而办。学校设在莫斯科城里，一律住帐篷，要求很严，训练也很紧张。经常在野外进行军事演习，学习战术技术，也打靶，白天晚上还轮流站岗放哨，过的完全是红军战士的生活。教官是从苏联红军中抽调来的，几乎都是苏联内战时期各个战场相当于将军级别的红军高级指挥官，他们有内战时期的实战经验，讲课内容实际，加上理论学习与实际训练互相穿插。近半年的学习，聂荣臻掌握了丰富的军事知识，为他的戎马一生打下了坚实的基础。
1925年，聂荣臻(前右三)与黄埔军校政治部全体工作人员合影。1925年5月，中国爆发了着名的五卅运动，根据共产国际的决定，红军学校中国班的同学分批回国，聂荣臻也于8月上旬离开莫斯科回国。
回到上海，聂荣臻和同学分散住进了旅馆，按约定时间去中央报到，王若飞先领聂荣臻他们去见总书记兼组织部长陈独秀，聂荣臻和叶挺等12人被分配到南方黄埔军校工作。
还是乘轮船，聂荣臻到广东区委见到了书记陈延年和周恩来。聂荣臻与周恩来相识于法国巴黎，战友重逢，大家都很高兴。
周恩来嘱咐聂荣臻说：“广州的革命形势很好，第二次东征即将出师，但是，孙中山先生逝世后，国民党右派正在积极策划夺权阴谋，广东的大小军阀也在上下捣乱，暗杀廖仲恺的案件还没有了结，要小心。”
聂荣臻被任命为黄埔军校的政治部书记，协助主任、副主任，直接领导政治部的组织和宣传两个科。后来聂荣臻回忆，由于黄埔军校是中国共产党和苏联大力协助下创办的，党在军校中有很高的威信。黄埔军校的政治工作，更是党一手建立起来的，所以党在政治工作方面威信更高。
聂荣臻主要是管党的工作。政治部的支部，党员人数很多，只有少数人公开，大部分秘密。他筹划党团活动的内容，宣传扩大党的影响。另外是发展党团员，这个成绩是显着的。那时，聂荣臻几乎每周去广州一趟，向区党委汇报情况，接受指示。有时听报告，经常是鲍罗廷讲，毛泽东也讲过。
聂荣臻听毛泽东的报告后，印象相当深刻，他认为这个湖南农村的教书先生相当有水平。
1926年3月20日，发生了中山舰事件。那是个星期天的早上，聂荣臻从黄埔坐船去广州汇报工作。船快到广州时，听中山舰上喊他们上舰。聂荣臻上了中山舰一看，全是共产党员，人们又不说话，他觉得有问题了。当天下午，软禁结束，聂荣臻上岸去找区党委，区党委机关没剩多少人，大部分疏散警戒去了。
蒋介石提出共产党员撤出第一军，不撤退则交出名单，党中央决定撤退，周恩来和聂荣臻都被排挤出了黄埔军校。有些人把名单交给了蒋介石，少数不坚定者投靠了国民党。
中山舰事件，由于共产党人毫无思想准备，在错综复杂的矛盾面前，被迫妥协。
但是，撤退出来的共产党人很不服气。周恩来、聂荣臻经常和同志们议论，蒋介石虽然兼着第一军的军长，但他能指挥的力量并不多，黄埔军校有很多党团员，大部分学生是同情支持共产党的。除第一军外，一直到第六军的军长都是不怎么听蒋介石招呼的，而共产党在各军中都有一定的力量，尤其在蒋介石的王牌第一军中最多，有两名团长是共产党员，营以下军官也有不少是党员。第一军是黄埔教导团的底子，共产党的传统影响根深蒂固。所以，蒋介石的王牌其实并不是真正的王牌。可惜，处于幼年还很幼稚的中国共产党在突如其来的中山舰事件面前，束手无策了，只有退让妥协。如果当时下决心把蒋介石搞掉，是有可能的，广州还有一些领导人包括毛泽东也有同感。
紧接着北伐，国民革命军中大批的优秀党员，抛头颇，洒热血，一直打到长江以北，使大革命达到了高潮。但是，北伐的胜利果实被蒋介石摘走，战火未熄，蒋介石就发动了四一二反革命政变。
1926年5月，聂荣臻被任命为北伐军广东区党委军委特派员，10月随先头部队攻入武昌城。当天在武昌中和里组建湖北省委军委，由聂荣臻任省委书记，负责向北伐各军及武汉军校等单位分派干部。经他手，分配了朱德、陈毅、刘伯承、邓小平等人的工作。聂荣臻还经手分配了黄埔军校第四期毕业学员中的共产党员，其中也有林彪，这批学员大部分到了叶挺独立团。
中国共产党第五次代表大会之后，国内形势日趋紧张，国共分裂已成定局。这回，再不能像中山舰事件那样窝窝囊囊地妥协了，只有武装起义，才是惟一的出路，但陈独秀还是坚持反对进行武装斗争。这时，共产国际指示中国共产党组织一支5万人的队伍，这对南昌起义是个很大的推动，不料这个指示却被国际代表罗易拿去给汪精卫看了，汪精卫加快了镇压的步伐。中国共产党人也加快了发动起义的步伐。经周恩来指定，聂荣臻任前敌军委书记。南昌起义胜利了。从此，南昌起义的这个日子也就成为中国人民军队的节日。
