聂荣臻元帅受命领导全国科技工作和研制“两弹”的任务以后，他反复考虑，认为首先是要组建机构和组织队伍，这是科学研究方面奠基性的工作，否则一切无从谈起。
邓小平曾代表中央找聂荣臻谈过一次话，征求他对工作安排的意见，聂荣臻选择了主抓科技工作。聂荣臻性格儒雅，很小的时候，他就有科技强国的夙愿。后来他在回忆录中写道：“前进，并且要赶上和超过我们的对手，这就是中国人民的唯一出路，否则我们就将永远被人欺负。我当时是怀着这样一种紧迫感，决心抓好这项工作的。”
不久前刚刚成立的由聂荣臻担任主任的航委，这时候实际上是个空架子，下面连一个兵也没有。聂荣臻主张先建研究机构，再建领导机构。他把自己在总参代理总参谋长时的得力助手、总参办公室主任安东调过来，担任航委的秘书长。安东和聂荣臻办公室主任范济生等人一起，担负起航委的日常工作。
1956年5月10日，聂荣臻向国务院、中央军委提交了《关于建立中国导弹研究工作的初步意见》的报告。他在这份报告中说：第二次世界大战后，美国的陆、海、空军都已经逐步采用各种导弹作为制式装备，并且还在大力开展这方面的研究工作……由于喷气技术、流体力学、无线电定位、电子计算机等科学技术的飞速发展，可以看出，各种导弹作为军队武器装备有很广阔的前景。为适应中国国防现代化的需要，必须立即开始导弹的研制与培养干部的工作……为此，建议在航委下面设立导弹管理局；建立导弹研究院（对外称国防部第五研究院，简称五院），以钱学森为院长，尽快开展导弹的研制工作。
半个月后，周恩来亲自主持有彭德怀等参加的第71次军委会议，专题研究了聂荣臻提出的报告。周总理在会上作了重要指示：导弹的研究方针是先突破一点，不能等一切条件都具备了，才开始研究和生产；研究导弹所需要的专家和行政干部，同意从工业部门、高等院校、科研机构和军队中抽调；要说服更多的人，为研制导弹出力；军队更要起模范作用，要人要钱，首先拿出来。
会议同意聂荣臻提出的所有方案，这让他深受鼓舞，立即着手布置工作。聂荣臻吩咐安东，尽快去找总后勤部、空军、北京军区的领导人商量，为导弹研究院寻找院址，以便开展工作。他嘱咐：“你要向这些单位的领导人详细说明导弹研究工作的重要性，以及中央和军委领导的决心，请各单位发扬风格，把可能提供的房子让出来。”
起初的工作应该说是很顺利的，安东带上范济生，两人去找总后勤部、空军、北京军区，仅仅几天下来，居然谈妥了。经过协商，位于北京西郊黄带子坟一带的解放军124疗养院、北京军区106疗养院、北京空军466医院，可以拨出全部或部分营房来，供导弹研究院使用。
黄带子坟一带尽管很荒凉，但毕竟有了这么一块地盘，可以供人开拓了。
光有这块地盘还不够，1956年11月，聂荣臻商请空军将南苑的飞机修理厂划归导弹研究院，作为导弹总装厂。1957年5月，聂荣臻同当时的中央联络部部长王稼祥商定，将长辛店中联部停办的马列主义学院二分院的房舍，划拨给了导弹研究院。同时，导弹研究院副院长王诤设法将在北京永定路地区的某通信团营区划归五院。这样，南苑、永定路、长辛店三处地点，成为以后导弹研究院第一、第二、第三分院的所在地，成为导弹、火箭武器的重要研制基地。这三个基地建设的逐步完善和四项重点工程的陆续建成投入使用，对中国导弹火箭事业的发展，发挥了重要的作用。
经聂荣臻与总政商定，报中央军委和毛泽东批准，导弹研究院机构按兵团一级、分院按军一级行使职权。对外协作、联系工作等使用代号。他还提出，对待高级知识分子，只要不是反革命就应该使用；社会关系复杂些也不妨碍使用，必须贯彻“重在表现”的政策。
地盘找好了，领导班子人选也基本有了，最困难的，当属人才调集问题。当时，第一个五年计划刚刚开始，全国各地、各行各业都在加紧建设，科技人才极度匮乏，科学家、专家更是凤毛麟角，是每个单位的“心肝宝贝”，挖人家的，就等于割人家的肉。但是，搞国防尖端技术，又必须集中大批技术骨干力量，是个顶个的，不能滥竽充数。于是，问题就来了。
周恩来深知其中的难处，他指定聂荣臻亲自召集一个重要会议，下大力气抽调人才。1956年6月2日那天，聂荣臻邀请国务院秘书长习仲勋、副总参谋长兼军事工程学院院长陈赓、国防工业部部长赵尔陆、一机部部长黄敬、国家科学规划委员会副主任范长江、中国科学院副院长张劲夫、教育部副部长黄松龄、清华大学校长蒋南翔等国务院各部委领导33人开会，商量为导弹研究院选调科技骨干的问题。
本来，周恩来那天要到会讲话的，但会议即将开始时，毛泽东找他有事，他只能走了，临走前留下话：“中午给大家嘴上抹抹油。”周恩来的意思是，中午请与会人员吃顿饭。他的良苦用心可见一斑。
会议在“三座门”召开。聂荣臻首先讲了一下中国决心发展以“两弹”为主的尖端武器的计划。听说搞导弹、原子弹，大家都很兴奋，议论之声四起。
聂荣臻接着说了这次会议的目的：发展尖端武器迫在眉睫，国际上的技术援助还没有落实，但中央下了决心要搞，当前急需的是各类人才，今天开会，主要是为即将成立的导弹研究院要人，请在座的各位大力支持，鼎力相助。
聂荣臻讲完后，会场顿时沉默了，半天没人吭声。有的面面相觑。有的闭目思索。有的盯着天花板，仿佛与自己无关。
聂荣臻耐心地期待着。
最终，还是那位有战略眼光的陈赓大将打破了沉默，他站起来，掷地有声地说：“我们哈军工给4个专家！”
陈赓的表态，令聂荣臻非常满意，他的脸上露出了难得的笑容。他希望人们响应陈赓，站起来发言。但是没有，会议室又出现了一阵难堪的沉默。
后来有人念叨说：搞尖端武器是重要，可是，我们的科学技术人员太少。每年只给我们几个大学生。我们恨不得拿他们一个当三个用。老科学家是我们的老母鸡，大学生是未来的母鸡，我还指望他们给我下蛋呢……
会场上发出了一阵笑声。
聂荣臻虽然心里不快，但他没有流露出来，他也理解人家，国家百废待兴，各个部门建设任务都很重，谁都想把人才握在手里。他不能怪人家，他只是暗暗地希望，人们要有一种大局观念。在那个年代，什么是最重要的？“两弹”最重要！有了“两弹”，我们其他方面的建设就是慢一点，也没什么关系，有了这个，中国的腰杆子就硬了，外国人也不敢小瞧咱了！
显然，陈赓对说这些话的人的态度是相当不满的，他坐不住了，又站起来，说：“聂总，我们再给你两个！”
许多年后，聂荣臻提起陈赓，仍然是对他赞不绝口，说他是有眼光的人，没有本位主义，大局观念强。
也许是陈赓的态度影响到大家，会议室里不再有人笑，各个部委、科学院都表示，回去商量一下，尽力支持航委的工作，提供用人方便。还有的当场说出了几位科学家的名字，答应尽快放人。
陈赓说到做到，没多久，他把哈军工的顶梁柱任新民、屠守锷、梁守槃、庄逢甘等6人给送来了。但是，很多单位答应给的人，并没有到位。聂荣臻派人三番五次地催促，有的单位仍是迟迟不放人。
两个月过去了，眼看导弹研究院要成立了，人员仍是到不齐，已经内定担任院长的钱学森很不高兴，他气呼呼地找到聂荣臻，说：“导弹、火箭的事还搞不搞了？要搞，就应该赶快调人，不能再拖了。”
内心同样焦急的聂荣臻理解钱学森的心情，说：“学森，对不起，是我的工作没做好。我去找周总理想办法。”
聂荣臻找到周恩来，周恩来嘱咐聂荣臻，安排钱学森到北戴河休息几天，缓解一下他的压力。周恩来又对聂荣臻说：“需要哪些人，你提出名字，我批！”
就这样，有些专家就是通过行政手段，由聂荣臻写报告，周恩来亲笔批准后，硬生生调来的。
终于，蔡金涛、黄纬禄、吴朔平、姚桐彬等数十位专家和中级科技人员到了导弹研究院，同时还接收了当年分配的156名大学毕业生，他们是中国导弹、火箭事业的第一批骨干力量，是最早的“班底”。
为解决导弹研究院科技干部奇缺的困难，聂荣臻又建议在军事工程学院、北京航空学院、北京工业学院、通信学院、邮电学院、交通大学、清华大学等高等学府，设置有关导弹的专业。建议得到中央批准。这为日后苏联毁约，中国坚持自己的“两弹”研制工作，奠定了技术力量基础。
1956年10月8日，对中国导弹、火箭事业来说，是一个不寻常的日子。这天，在北京西郊原解放军第466医院简陋的食堂，聂荣臻面对台下坐着的大约两百多人，宣布：经过中央军委批准，国防部第五研究院正式成立，由钱学森任院长，领导大家从事火箭、导弹的研究工作。聂荣臻说：在座的各位，是中国火箭事业的“开国元勋”，现在人手虽少，但只要大家团结一心，艰苦奋斗，中国的火箭、导弹事业，一定会有美好的前景。
接着由新任院长钱学森讲话，他说：“这是一个宏伟的、具有远大前途的事业。投身这个事业是光荣的。大家既然下决心来干这一行，就要求大家终身献身于这个事业。由于工作性质的关系，干我们这一行是出不了名的。所以大家还要甘当无名英雄。”
那天，除了这个小型的会议，没有再举行任何仪式，没有鲜花，没有彩旗，没有锣鼓，没有剪彩。到场的人们，只有一颗火热的心。
成立大会结束，紧接着由钱学森为新分来的156名大学生讲授《导弹概论》。他一连讲了七堂课。他的课讲得通俗易懂，这些刚刚听说过导弹这个名词的大学生，他们所学专业与导弹毫无关系，正是由于钱学森的辅导，才使他们入了门。几十年后，当年听过钱学森讲课的人，仍然记得他讲课的情形，说：“没有钱老，就没有我们后来的成就。”
导弹研究院成立不久，聂荣臻将该院的工作方针归纳为：“我们对导弹的研究制造，应采取自力更生为主，力争外援和利用资本主义国家已有的科学成果为辅的方针。”这一方针得到彭德怀、周恩来、毛泽东的批准。后来，这个方针实际上成为我国国防科技事业，乃至整个科技事业的基本方针。
最初一切都是困难的，导弹研究院白手起家，没有实验室，没有科研设备，甚至没有住房，科研人员有的住在帐篷里，有的住在大食堂里。寒冷的冬天来到了，北风呼啸，滴水成冰，那个年月，人们肚子里缺乏高热量的食物，衣服保暖性也差，冬天的滋味最不好受。
聂荣臻住在有暖气的大房子里，身上舒服，心里却总不踏实，因为他牵挂着导弹研究院刚从各地来报到的那些科学家和大学生们。有一天，他叫上秘书，突然来到研究院，他先钻进科学家和技术人员住的小屋或帐篷，看了看火炉，是不是管用，又摸摸床上铺的盖的，厚不厚，保不保暖。最后，他才来到会议室，和领导干部、主要科学家们见面。
主持会议的院领导说：“请聂帅给我们做指示。”
聂荣臻感慨地说：“我没有指示，只有一个心得。我是带兵打仗出来的，今天毛主席、党中央让我抓国防科研。我常常想，怎么抓啊？这个干部怎么当啊？后来我想明白一点了，就是，要老老实实地做好人民的勤务员。当干部，特别是当行政干部，干的工作就是勤务员工作。我聂荣臻有志于当个科学工作的勤务员，为科学家搞好科研工作的条件，搞好学习和生活条件。这就是党分配给我聂荣臻的工作，是否做得好，我不敢说。但是，我一定要认真去做，把这当作我终身的光荣任务。”
聂荣臻的话令在场的人，尤其是一些科学家深受感动。人们想不到，一个元帅，会说出这样的话。元帅亲口说自己愿意当勤务员，如果不是当面听说，谁也不敢相信。
聂荣臻突然话锋一转，语气沉重起来：“我今天来看了大家的住处，我这个勤务员没当好，在座的各位，勤务员也没当好，我们的科技人员，其中不少是中央千方百计帮我们从国外请回来的，从各个兄弟研究机构忍痛割爱调来的。可是，这么数九寒天，我们让这些宝贵的人才住帐篷，我不满意。我要告诉院领导们，如果冻坏一个人，你们得赔我！”
“冻坏一个人，你们得赔我！”时隔几十年后，著名火箭技术专家屠守锷仍然清楚地记得这句话。他说，有了这句话，大家伙一下子就不觉得冷了。
不久，又发生了这样一件事：一天清晨，导弹研究院二分院的科学家和技术人员刚刚起床，按照军队的习惯集合跑步。他们来到操场上，却发现，这天站在寒风中等待他们的，是一位佩戴少将军衔的军人。
“不知发生了什么事？”大家都在猜测。这时，少将说话了：“请大家伸出手来。”
然后，少将像幼儿园的阿姨一样，挨个查看了两百多位科学家和技术干部的双手。最后，少将大声说：“同志们，我是航委秘书长安东。聂老总听说，你们不少同志夜里加班，又没有暖气，担心冻坏了手，一大早打电话让我来查看一下，他等我回去汇报呢。”
听到这里，不少人感动了，有些人眼里湿漉漉的。安东有些惭愧地说：“我刚才看过，确实有同志冻伤了。我们工作没做好。这个问题我马上汇报，会很快解决。”
任新民也经历过一件他始终忘不掉的小事，他回忆说：“有个冬天，我的手冻了。我听政委说，聂老总对我们政委讲，任新民手冻了，你们怎么也不注意这个事。我听了以后，非常感动。我感动的是，一位元帅，这样的小事都挂在心上，你还能说什么呢？”
房子暂时盖不起来，暖气暂时供不上，院里就发动所有的后勤人员，挨家挨户送劈柴、焦煤，把炉子生上，保证一定的温度，不至于冻伤科研人员的手脚。经过上上下下的努力，1959年寒冬来临之前，导弹研究院的所有科研人员，都住上了带暖气的房子。
