1907年12月30日，柯洛廖夫出生于乌克兰的一个教师家庭。父亲去世很早，母亲带他改嫁给一个工程师。由于继父的阻挠，柯洛廖夫不能进入正规中学读书。为了挣钱读书，柯洛廖夫到图波列夫所领导的航空工厂找了份工作，并以半工半读的形式念完了中学和高等专科学校。
学习期间，虽然生活艰难，但他学习特别用功，而且也非常聪明。图波列夫非常喜欢和器重这个聪慧、勤奋的青年，经常给他讲解飞机设计的技术知识，并引导他迷恋上了当时刚刚兴起的航空事业。在校期间，柯洛廖夫把所有的业余时间都花费在滑翔机上，并通过滑翔机的设计和驾驶，增长了知识，锻炼了意志，成了一名才干超群、意志顽强的青年。
毕业后，他留在图波列夫的飞机设计局工作，成了图波列夫的得意门生和理想的助手，又成长为一名出色的飞机设计师和勇敢的新飞机试飞员。
富于进取精神的年轻科学家并不满足已掌握的知识。神秘的宇宙已经在强烈地吸引着这只在空中翱翔的雄鹰。30年代初，柯洛廖夫拜访了著名的火箭理论家、航天理论的奠基人——齐奥尔科夫斯基，并加入了刚刚创建的火箭反推进研究小组，开始研究大型火箭。当时，这个火箭研究小组只是个民间组织，并没有得到官方的重视和支持，没有必要的设备，缺乏研究经费，全凭小组成员满腔的科学热忱和自愿捐款开展研究工作。1932年，柯洛廖夫年仅25岁就编著了《火箭发动机》一书并由军事出版社出版。与此同时，为了引起政府有关部门的重视和得到必要的经费，柯洛廖夫还在官场中积极宣传火箭的使用价值。终于，他们的研究工作赢得了当时掌管着海、陆军实权的军队首脑图哈切夫斯基的支持。图哈切夫斯基给小组提供了许多经费和物资，并允许他们免费使用莫斯科附近纳哈比诺军事工程中心的一个小型发射试验基地。同年，柯洛廖夫参加设计的液体火箭在这个试验基地发射成功。1933年10月，前苏联政府决定把这个民间火箭研究小组与列宁格勒气动力学研究所合并，成立喷气推进研究所，列为正式的国家军事机构，由柯洛廖夫担任研究所所长。柯洛廖夫终于有了大显身手的工作场所和机会。1934年，国防部又出版了他的另一部专著《火箭飞行》。1936年，柯洛廖夫与其同事们一起设计了前苏联第一代火箭飞机……。年轻的科学家沉浸在火箭研制工作中。如痴如醉，充满激情和胜利的喜悦。他觉得，实现自己的伟大理想、飞向宇宙的时刻马上就要来临了。
可是，就在这时，前苏联的肃反扩大化运动波及到了军界。1937年，图哈切夫斯基因间谍嫌疑被判死刑，立即执行。而柯洛廖夫则被定为图哈切夫斯基的同党，也判以死罪，押解西伯利亚罚苦役。就这样，这位年仅31岁风华正茂的年轻设计师，带着满脑子的太空旅行的幻想，被迫离开心爱的火箭事业，到了一个荒无人烟的小岛，开始了开挖金矿的苦役生涯。
在肃反运动中，著名的飞机设计师图波列夫也遭逮捕。但因当时前苏联迫切需要飞机，故而没有把他判为死刑，只是被囚禁在监狱工厂继续从事飞机的研究和设计工作。当他了解到他的得意门生柯洛廖夫被罚做金矿苦役的情况后，深为惋惜。经他多方努力和极力荐举，柯洛廖夫终于作为“杰出的飞机设计师”被救了出来并调到图波列夫领导的监狱工厂，从事飞机设计工作。但是，这时的柯洛廖夫已不是刚出校门的年轻的科学工作者。他对飞机设计已经失去昔日的热情，却仍然迷恋着他的火箭设计。所以，这次的被解救并没有给他带来真正的喜悦。他心情依旧苦恼。
40年代初，前苏联当局获悉德国正在搞火箭飞弹（即“V—2”导弹）的消息，于是决定把柯洛廖夫转到四号特种监狱工厂，重新组织人马开始研究军用火箭。四号监狱工厂戒备森严，囚犯之间不准串联聊天。柯洛廖夫毫无行动自由。但这里设有许多设计室和实验室。柯洛廖夫只要一接触火箭和进入工作状态，心情立刻豁朗。因此，他感谢德国人研制导弹的消息，因为这使他有了重操旧业的机会。
第二次世界大战结束后，前苏联俘获了一批德国的火箭专家和“V—2”导弹的有关资料和部件。柯洛廖夫能讲流利的德语、英语和法语。他与德国专家事业相同，其当时的处境又与这些战俘“门当户对”，所以很快就成了“志同道合”的知己。1947年，柯洛廖夫及其同事们利用德国专家的智慧和“V—2”导弹的成果，设计成功了前苏联第一代导弹。
1949年，他设计的中程导弹试验成功，开始装备部队。从此以后，军界和政界对这位火箭专家也开始刮目相看。1953年，前苏联成立了导弹装备部。在导弹部部长乌斯基诺夫的推荐下，柯洛廖夫向政治局介绍了火箭研究的现状和利用多级火箭发射人造地球卫星的伟大设想。
1954年开始执政的赫鲁晓夫，对于火箭技术一无所知。在他的回忆录中讲到当柯洛廖夫向他介绍火箭知识时，他毫不隐讳地承认：“我不想吹牛，但是老实讲，我们就像一群傻子……。柯洛廖夫称它为火箭。
我看它倒像一支大雪茄，不相信这家伙能飞起来。到了发射台上，我们真像乡巴佬进城一样绕着火箭走，摸它，拍它，看它到底有多结实。差一点要用舌头去舐它，看它究竟是啥滋味……。”赫鲁晓夫虽然不懂技术，但刚刚执政、权力不稳，需要一些新鲜的东西来振奋人心和赢得军队的支持。于是，他很快批准成立了航天局，批准了柯洛廖夫的洲际火箭和人造地球卫星计划。
1957年8月3日，柯洛廖夫设计的洲际导弹试验成功。同年10月4日，这位天才的科学家大胆地用捆绑式火箭成功地发射了世界上第一颗人造地球卫星。各国首脑和各地报纸纷纷发表谈话和评论，惊呼前苏联超过了美国。许多知名的专家也纷纷表示向开创航天时代的火箭总设计师表示祝贺。然而前苏联当局出于某种考虑和需要，却把柯洛廖夫“保护”了起来。不仅如此，为了迷惑世界舆论，还有意安排不搞火箭技术的谢道夫院士在有关重大场合抛头露面，以至使西方新闻界一直把谢道夫误认为是人类第一颗人造地球卫星之父。对此，柯洛廖夫曾无比愤慨和大加光火。此时的柯洛廖夫已经是拥有私人别墅的共产党员了，在航天局里担任着副局长、主任设计师和发射总指挥三个职务。但是，具有讽刺意味的是，守卫柯洛廖夫私人别墅的卫队正好是当年把守图波列夫所在监狱工厂的卫队，所以柯洛廖夫总有一种仍处在昔日阴影中的感觉。
50年代末，美国开始在报刊上讨论发展“水星”号载人飞船的计划。
为了保持航天领先地位，赫鲁晓夫下令研制载人飞船。承担该项任务的柯洛廖夫提出了采用“水星”计划所设想的海上回收方案，以确保航天员的安全。但是赫鲁晓夫认为一艘前苏联载人飞船必须在本国领土上降落。如果在公海上溅落，那么西方航天技术专家和新闻记者就都可以到现场去，这样就无法避免前去迎接航天员的柯洛廖夫及其得力助手、火箭专家沃斯克里森斯基公开露面。后者当时也处于被“保护”的状态。
为了遵从赫鲁晓夫关于飞船只能在本国领土着陆的政治规定，柯洛廖夫只得采取加固飞船回收装置的措施，但这必将大大增加飞船的重量，而当时还没有如此大推力的运载火箭。经过反复讨论，最后决定采取一种折衷的冒险方案：在返回舱着陆之前，把航天员弹射出去，让其乘降落伞着陆，而笨重的座舱则任其冲撞地面。在航空事业中，飞行员乘降落伞着陆已是一项成熟的技术。但是飞船返回的速度大大超过飞机飞行的速度，因此，从高速冲向地面的飞船上弹射乘降落伞着陆的方式对航天员的生命安全威胁极大。1960年12月用动物作弹射降落试验时就发生了死亡事故。
高度的责任心不允许柯洛廖夫让自己设计的飞船把航天员带向死亡，可是赫鲁晓夫的命令又不能违抗。动物试验失败后由于高度的精神负担和沉重的压力，柯洛廖夫第一次心脏病发作。他被迫住院治疗。检查中医生们还发现他的肾脏也有严重的疾患。从监狱和集中营出来的人难免这类疾病。医生们劝他们的病人长期疗养，但柯洛廖夫清楚地知道，美国的载人计划正稳步前进，时间不允许前苏联科学家有任何的懈怠。
于是，柯洛廖夫决定拼死搏斗。出院后，他不但未去疗养，反而和他的同事们一起日夜奋战在设计室和试验场。
科学家们呕心沥血、日夜兼程，仅仅用了3个月的时间就制造出了3枚火箭。2枚用来作动物试验，1枚用来正式发射载人飞船。1961年3月9日和25日，2枚载动物的试验火箭均告成功。1961年4月12日，世界上第一艘载人飞船终于发射成功；人类第一名航天使者加加林安全返回地面。但是，在莫斯科红场举行隆重的欢迎仪式时，柯洛廖夫这位开辟载人航天新纪元的伟大功勋仍不得露面，只有赫鲁晓夫和加加林在红地毯上踏着方步，挥动着鲜花向欢腾的人群微笑、致意。
在通向太空的征途上一次又一次的巨大成功，当然也给柯洛廖夫带来了宽慰和快乐。但作为一位严谨的科学家，他深知还有许多关键技术在等待他去攻克。1961年以后，柯洛廖夫拟订了一个载人航天发展规划，希望发射大量的卫星式飞船，反复试验、改进，以稳步提高航天技术。
但是，赫鲁晓夫对“稳步提高”毫无兴趣，只批准了其中的他认为可以争得“第一”的“第一个女航天员发射计划”和“编队飞行”计划。科学家征服宇宙的科学途径，不得不随着政治家的需要和意愿改变。1963年，美国研制双人飞船的消息传到了前苏联。赫鲁晓夫又立即提出抢先发射三人飞船的指示。时间太紧，柯洛廖夫觉得毫无把握。但是上边的精神不能违拗。否则难免再遭清洗，重做“开挖金矿”的苦役。于是他只好硬着头皮将原来的单人飞船座舱重新布局，让航天员冒着生命危险脱掉航天服，以便3名航天员能同时塞进去。就这样，1964年前苏联又抢了个“第一”，完成一次所谓的“三人飞行器”的飞行。
