参加南昌起义和广州起义后，调任上海党中央特科、中央军委工作。入中央苏区后，他先后参加了第四、五次反“围剿”和长征。与林彪一道指挥了平型关战役。
南昌起义三个月后，聂荣臻到广东省军委工作。这时，中央已经指示省委组织广州起义。聂荣臻不同意起义，他认为当时全国的革命形势正处于低潮，广州的形势也不好，对起义很不利。想利用两广军阀的内部矛盾，夺取广州，组织全国苏维埃，这是根本不可能的。虽然广州市内的兵力空虚，其中还有叶挺掌握的教导团，90％的学员和教官靠拢共产党，党员有100多名，教导团训练有素，战斗力比较强，又有近3000人的工人赤卫队。但是，这些有利因素比起不利因素，还是显得弱。果然，起义胜利后又很快失败，军警满街搜捕，广州处于白色恐怖之中。
三天后，聂荣臻来到香港，担任了广东省军委书记。在此期间，认识了张瑞华，结为终身伴侣。
1930年5月，聂荣臻调到上海党中央特科。特科的主要任务是，打入敌人内部，营救被捕同志和镇压叛徒特务，以保证党中央和地下工作同志的安全。当时的特科由三个人领导：向忠发、周恩来、顾顺章。周恩来决策，顾顺章负责日常工作。中央发现顾顺章吃喝嫖赌还抽大烟，引起警惕，调聂荣臻来加强特科，约束这个过去耍魔术的流氓无产者。顾顺章知道调聂荣臻来的目的，就故意刁难他，明知他从国外回来，没有地下工作经验，初来上海人生地不熟，就专派一些很困难很危险的任务给他，但聂荣臻都完成了。当时，李克农、钱壮飞、胡底等打入敌人要害部门，这样，敌人往往扑空，甚至蒋介石调动军队向红军进攻的情报，有时也能得到。在白区，重要的任务是镇压叛徒。那一阵，聂荣臻经常晚上出去，凌晨两三点回来，天一亮又出去。常常来不及吃饭，就用开水泡一碗饭，就着咸菜吃。有一次去镇江，发现住的房门被打开，有两个人在那儿翻东西，聂荣臻就没有进去。天晚了，在街上容易出危险，他就去了澡堂子，镇江澡堂通宵开放，一晚上，洗了三个澡，才挨到天亮。
1942年夏，聂荣臻与夫人张瑞华合影。9、10月间，聂荣臻调到中央军委作周恩来的助手。
1931年4月，顾顺章被捕叛变。幸亏南京特务机关的心脏中，安插着钱壮飞，从而使中国共产党避免了一场大灾难。聂荣臻得到消息，立即来到周恩来家，不巧他不在，聂荣臻就告诉邓颖超，顾顺章叛变了，要他们快搬家。顾顺章曾是政治局候补委员，又长期负责特科工作，对上海的党中央机关一清二楚。周恩来连夜布置中央所有的办事机关转移，切断所有与顾顺章的联系。抢在敌人之前，聂荣臻也搬了家，因为他过去与顾顺章交往很多，不敢上街，终于在1931年12月，奉命撤出上海，之后去了江西革命根据地。
在中央苏区，聂荣臻参加了东征漳州和第四、第五次反“围剿”。第五次反“围剿”失败后，他又与林彪率领红一军团参加了二万五千里长征。突破敌人第四道封锁线时，和林彪指挥红一军团苦战，开辟并扼守住了湘江渡口的右翼，掩护中央纵队渡过了湘江，避免了红军遭受更大的损失。“万水千山”的艰险路程走过之后，他和林彪指挥红一军团与红十五军团配合，取得了直罗镇战役的胜利，为全国革命大本营放在西北贡献了一个奠基礼。以后又率红一军团参加东征、西征，他参与指挥的山城堡战役，成为结束第二次国内革命战争的最后一仗。
七七卢沟桥事变后，日军大举进攻华北的消息频频传来，而国共联合抗日的商讨却迟迟没有结果。这时，聂荣臻和部队驻在西安附近的三原，心急如焚。从江西到陕西，红军的血迹撒遍大半个中国，时刻不忘的就是迎战日本侵略者。现在中华民族到了最危险的时刻，谈判桌上却还在拖着，到了7月中旬，聂荣臻和战友们已根据中央指示开始酝酿部队的改编工作，着手进行开赴前线的准备了。8月上旬，国共达成协议。8月25日，中共中央军委正式下达命令，红军改编为国民革命军第八路军，下辖三个师。林彪任一一五师师长，聂荣臻被任命为副师长，没有政治委员的编制，但是对内仍称政委。根据与国民党达成的协议，八路军开赴阎锡山负责的第二战区作战。
华北战场失败气氛弥漫，日军轻取平津，嚣张地以30万兵力由北向南，计划3个月内灭亡中国。八路军决定出兵了。出兵前，需要认真商量一下，于是，召开了洛川会议。
洛川是陕甘宁边区和国民党管辖区相交接的地方。选作会址，是因为洛川便于军队的负责人赶到。出席会议的有毛泽东、周恩来等，聂荣臻和林彪也参加了。洛川会议一共开了4天，最后统一到毛泽东提出的作战方针上。毛泽东也考虑到讨论中的不同意见，把关于作战方针的提法作了一些变更，使之更科学更全面了。出师华北不久，又改成基本的游击战，但不放松有利条件下的运动战。
洛川会议结束后，聂荣臻和林彪急忙往西安赶，准备从西安乘火车赶上已经出征的部队。在西安，赶部队的人分两批走。林彪第一批走，聂荣臻在西安逗留了三天，听取了周恩来的指示。然后乘火车到潼关，乘木船过黄河，由风陵渡再上火车，到达侯马时赶上了一一五师的后卫。
在侯马，阎锡山给聂荣臻打了个电话，同蒲路因雨大不能通车了，让他们修一下路。路修通后，他们到太原住了一晚上。阎锡山招待他们吃了一顿饭，席间这位东道主相当热情。第二天，聂荣臻率队出发，到了五台山地区。在原平，看到那些不像话的国民党兵，迎面退下来，败得不成样子。把什么东西都丢掉了，炮呀枪呀全扔了。聂荣臻说，不能走这条路，影响我们的士气嘛。于是，改走了另一条路。
9月中旬，日军兵分三路在华北展开全面进攻。聂荣臻率领一一五师后卫经过五台，又沿崎岖的山路穿过龙泉关，从阜平北面的丁家庄来到了平型关的上寨镇，与林彪的先头部队汇合。林彪说：“敌人的大队人马正向平型关方向运动，这里地形不错，可以打一仗。”然后问聂荣臻的意见。聂荣臻说：“可以在这里打一仗，居高临下伏击敌人，这是很便宜的事。”
在平型关打一个大仗的计划，就这样定下来了，很仓促。打的头天晚上，大雨瓢泼，河水暴涨，徐海东旅过去了一个团，另一个团就没有过去，实际上这个旅没起多大作用。
进攻平型关的日军是板垣师团，极俱武士道精神。他一路长驱华北，遇到的都是不战自退的国民党军队，气焰自然骄纵，他没料到在平型关会遇到东渡黄河的八路军。林彪和聂荣臻是匆匆看了地形后决定打伏击的，也没有掌握日军的番号以及进攻的企图，这些情况都是事后打扫战扬从缴获的战利品和作战地图上发现的。
平型关确实是一个伏击敌人的理想地域，从平型关山口到灵丘县东河南镇，是一条狭窄沟道，地势最险要的沟道中段，长约十多里，沟深数十丈不等，仅能通过一辆卡车，能错过车的地方极少。一打响，汽车挤汽车，人挤人，乱了套。但是敌人相当顽强，剩一个人也要拼到底。战斗结束后，聂荣臻查看战果的时候，还听见一个日本兵躲在山洞里向战士们放冷枪死不投降，最后扔手榴弹进去才消灭他。
平型关一仗，歼灭1000多日军，毁汽车100余辆，武器辎重乱七八糟搬也搬不完，路又不好走，大部分都摔坏了。
这就是中国人和日本人打的第一仗，那时全国还没有打过胜仗。因此，此战在全国影响很大。这一胜利首先在于它的政治意义，中国共产党领导的人民军队，确有战胜任何敌人的勇气和力量，使全国人民看到民族的希望。着名爱国人士续范亭写道，八路军的大捷，其估价不仅在于日方死亡的惨重，而在于打破了“皇军”不可战胜的神话，提高了我们的士气。在敌人方面，从南口战役以来，日寇长驱直入，如入无人之境，在平型关忽然受到惨重的打击与包围被歼，使日寇知道中国大有人在，锐气受挫，不敢如以前那样的长驱直进。忻口战役敌人未敢贸然深入，我军士气高涨，未尝不是平型关歼灭战的影响。
平型关战役后，聂荣臻率部进入五台山区，建立并巩固晋察冀根据地，实行减租减息。晋察冀根据地还吸收了许多外国人来，伟大的国际主义者诺尔曼·白求恩就曾在此战斗和工作过。
很多年以后，聂荣臻说：“抗日战争时期，在敌后开展游击战争、创建晋察冀抗日根据地这段历史，在我一生的经历当中，是比较重要的一段。它留在我记忆里的印象，是很深的。”
平型关战斗后，一一五师配合国民党正规军打了忻口会战，侧击南下的日本侵略军。但是，到了10月底，正太路要隘娘子关失守，山西抗战形势急转直下，紧接着忻口失守，太原也失守。这时中央指出，至此，华北以国民党为主体的正规战争已告结束，以八路军为主体的游击战争转入主导地位。华北的八路军分成四大块，一二○师开辟晋西北，一二九师开辟晋东南，一一五师分家，主力由林彪率领转向吕梁山，开辟晋西地区，聂荣臻率部分队伍开辟五台山周围的晋东北地区。那时刚从平型关下来，分家很简单。聂荣臻对政治部主任罗荣桓说：“你分，司政后你可以决定一切，哪些人你留下，哪些人你带走，你决定。”
罗荣桓亲自挑了一些人，留下的人不多，但很得力，聂荣臻让留下的人把各部的担子撑起来。
当然，最难的是初创时期，东拼西凑起来的部队和干部，全加在一起，大约3000人，在晋察冀这样一个广阔的地区，这3000人撒进去，无疑是杯水车薪，力量太单薄。而更缺乏的，是干部。刚分家的时候，机关有人开玩笑，问司令部有多少人呢？一盆菜就够吃了，一条炕就够睡了。聂荣臻鼓励大家说，我们人少，可以慢慢扩大嘛。
隔绝在敌后的长长日子开始了，最初聂荣臻和部队住在五台山的庙宇里，正是深秋初冬，五台山覆盖着厚厚的积雪，而很多人不仅没有棉衣，连单鞋也没有，赤脚穿一双草鞋。在这种极端困难的条件下，聂荣臻给大家做工作，说：“所有留下的同志，都应该深刻认识在晋察冀三省边界地区建立根据地的必要性、可能性和艰巨性，只有这样，才能对坚持敌后斗争有必胜的信心。”聂荣臻着重讲了晋察冀地区战略位置的重要性，“它位于平汉、平绥、正太、同蒲四条铁路之间，如果在这里成功地创建一块抗日根据地，就会像一把尖刀插入敌人心脏，直到威胁北平、天津、保定、石家庄、太原、张家口等敌人的战略要点。”
如果不是八路军出师华北拖住日本侵略军，而像国民党军一样一触即溃，不用一个星期，日军就可以从北平长驱武汉。聂荣臻说：“我们要在这里拖住敌人，成为敌人的心腹之患。”
在五台山区，聂荣臻反复思考并与同志们讨论，他认为自己必须谨慎从事，自己一人带一批同志留在被隔绝的敌后，而这块地区又那样靠近敌人的心脏，稍有不慎，将造成无法弥补的损失，必须反复地多多地思考，领会党中央的方针政策。想到激动处，聂荣臻挥笔写下了这样的一句话：“为保卫祖国而奋斗到底，誓与华北人民共存亡!”
11月7日，党中央指示正式成立晋察冀军区，聂荣臻为军区司令员兼政治委员。军区成立的时候，在五台山普济寺开了一个小型的庆祝会。一时间，消息四散，不少抗日武装和组织纷纷来函，表示庆祝与支持。
发展敌后游击战是必要的，还有个可能不可能的问题。从群众对晋察冀军区的热情上，聂荣臻坚信敌后游击战是可能的。那个时候，留在敌后的3000名抗日种子，不能和敌人的兵力相比，但是，发动群众组织游击战争，就比过去的根据地有更为有利的条件。聂荣臻回忆说，“那个时候，我们放手伸进去，国民党放弃的地方，我们统统占起来。这里有个什么好处啊？那个时候的老百姓惶惶无主，我们去了，证明中国的政府又来了，有了依托。不仅是八路军游击队的问题，政府也来了。那时，聂荣臻一方面组织八路军，一方面组织政府。抓住这个好时机，晋察冀成立了一个边区政府，在各块根据地中，这是成立最早的，边区政府经过宋劭文，与阎锡山挂上了钩。阎锡山承认了，也算合法，也算不合法，后来孔祥熙特派来了代表，他也没有否定。因为那个时候你国民党都丢了，八路军在危难之中支撑了这块塌陷的地方，国民党没有道理去否定。所以，八路军占领的地方，都毫无例外地成立了政府。这是中国人自己的政府，这是中国人反对日本人的政府，那个时候影响很大，就是地主也不敢公开投靠到日本那面去。”
聂荣臻在他的回忆录中写道：我们在五台山出兵时留下的部队，主要是一个独立团，一个骑兵营，几个连，还有一些干部。但是，形势的发展对开展游击战争却十分有利。因为日军正集中力量长驱直进，后方相当空虚。“我们就利用这个有利时机，大刀阔斧地发展，以便打开局面。我们虽然最初选中了五台山，但并不孤零零地只搞一个五台山。仅仅局限于五台山，那就没有广阔的回旋余地。当时，我们的着眼点，还是晋察冀三省边界的广大地区。”
由于聂荣臻高度重视扩大武装力量，饱受国破家亡之苦的广大人民群众踊跃参军，晋察冀部队迅速壮大，各个分区都成立了三个相当于团的大队，再加上人民武装配合作战，在很短的时间内，晋察冀三省边界地区的形势有了巨变，大片国土成了掌握在人民手中的根据地。
1937年11月18日下午，聂荣臻和军区领导机关到达阜平城。阜平是一个不被人重视的小山城，太穷。现在一变而成为晋察冀的政治军事中心，城镇也显得有了生气，慢慢繁盛起来。
晋察冀这个地区在四条铁路的框框里头，交通方便得很，又有北平、天津、张家口、石家庄、太原这几个屯兵的大聂荣臻率一一五师一部挺进河北阜平。据点，等于在敌人的包围之中，似乎是站在敌人的口袋里。就不怕吗？有这个问题。但不可怕，只要群众发动起来了，就一切好办。相信汉奸是极少数，人民群众是不愿当亡国奴的。后来的实际情况也证明了，晋察冀的八路军，无论路东路西，从哪个地方路过，群众都是欢迎。
