1935年，根据莫斯科的指示，佐尔格集中精力赢得德国驻东京使馆的信任，并获准向他们捉供一定的情报。佐尔格开始接近德国大使馆武官尤金·奥特。凭借他们过去在一个师内服役的旧情，两人关系搞得十分融洽。当奥特还在名古屋时，佐尔格就给他提供过关于日本军事方面的有用情报或有关日本形势的新见懈。这充实了奥特给东京武官的汇报内容，增加了他在上级心目中的份量。由于佐尔格的帮助，奥特升了官，后来还当上了大使。
1936年，佐尔格获得“武官奥特上校非官方秘书”这一职位，德国使馆内设有他的办公室。当然，大使让佐尔格看机密文件时，他不便拿到：自己的办公室去照相或抄录，只是死记硬背其中的要点，然后追记摘要。但当使馆其他人向他讨教时，他往往要求对方让他把有关文件带到自己的办公室去。他老是说：“我希望能够慢慢地仔细地读一遍。”他一回到自己的屋里，便把材料中较重要的部分拍摄下来。
1939年9月初欧战爆发后，佐尔格与德国使馆第一次正式发生工作关系，他负责把柏林发来的官方电讯稿编成。新闻简报。他的一小间办公室在使馆旧楼的第二层，紧挨着德国新闻社的监听室。他的第一件事是把来电分门别类地加以整理，挑选较重要的新闻给使馆高级人员过目，然后着手编新闻摘要，发给侨居日本的德国人。此外，他还编新闻通报，分发给日本报刊。
佐尔格因干这份差事而获得报酬，但他不在使馆编制之内。他考虑再三，几次拒绝成为使馆人员。柏林外事局敦促奥特给他1安排一个相当高的职务，负责情报和宣传工作。但他还是拒绝了。奥特感到很恼火，最后佐尔格只好答应继续给奥特当私人顾问。
佐尔格避免正式从属使馆有个特殊原因，他不仅认为正式职务会影响他力莫斯科工作，他还担心，他的详细经历一经必不可少的安全审查，还没等他被接纳为外交使团的一员就会败露。
不管怎么说，佐尔格与大使以及使馆高级官员之间的关系特殊，使馆的高级官员遇事经常征求他的总见。比如，他们时常告诉他，他们听到这样或那样的消息，问他是否也听到了，有何看法·有时人使拿出一份电报稿给佐尔格看，请他提出修改意见。因此他从中了解到重要电报、信件的内容。有时他的意见引起一番争论，这样便能得到更多的情报。
经过长期的精心准备，佐尔格已经成功地全面地渗入了德国使馆。
组建小组设立密台
莫斯科指派给佐尔格两个伙伴，一个是日本人，另一个是无线电报务员。1933年初，佐尔格首先联系了小组的报务员“伯恩哈特”。他先期到达日本，和妻子住在横滨郊区，以商人身份为掩护。佐尔格告诉他，要立即着手在他寓所内架设无线电台。
他接着去联系小组的第三位成员，南斯拉夫籍的勃兰科·伏开利克。他们初次见面，佐尔格发现伏开利克身体欠佳，又短缺经费。佐尔格在经济上资助了他，并引导伏开利克广泛结识了许多外国新闻团体和英、法使馆高级官员，给伏开利克打开了局面。
那位日本伙伴，名叫宫木佑德，年纪与伏开利克不相上下，也在市里等待着“拉姆赛”(即佐尔格)的召唤。他10月从加利福尼亚赶来，住在一个朋友家里，坚持天天读英文日报《日本广告》。2月中的一个早晨，他见到了自己长期寻找的东西，那是“征求”栏中的一个告示：
“老东家征求浮士绘，并急需有关该问题的英文书籍。东京《日本厂告》423号信箱。”
这是伏开利克根据佐尔格指示办的。宫木给该报寄去一封回信，于是他和伏开利克在《日本广告》社见了面。宫木和伏开利克各自在皮夹中带了一张一美元的钞票。这两张钞票号码连着，两个人便接上了头。
几天后，就在除夕之前，佐尔格使用事先安排的接头暗号(比如，佐尔格系黑领带)，在上野画廊会见了宫木。宫木可不是久经风霜。富有经验的职业特工人员，他跟伏开利克一样也是个业余爱好者，迫于形势，成了职业情报人员。他见过佐尔格四五次后才恍然大悟”，原来是让他当间谍的，因为佐尔格要求他提供日本的政治，军事情报。
行动小组人员现在就算齐全了。佐尔格有了无线电技术员和两名合作者，其中一名是日本人。
佐尔格小组其他主要成员中只有接替“伯恩哈特”报务员职务的克劳森的掩护职业难以妥当安排。日本报人大崎从一开始便与日本最有影响的报纸《朝日新闻》建立了关系。宫木在美国住过一个时期后，与数以千计的同胞二道回到日本，继续以卖画为生。伏开利克跟佐尔格本人一样，原安排为某西方报纸工作，后来他在东京的法国哈瓦斯通讯社谋到了职位。无线电报务员“伯恩哈特”在日本时间既短，而且毫无成效，但还在横滨经营进出口生意。然而，克劳森却难于找到合适的公开职业。佐尔格试图替他寻找一个合法的掩护身份，克劳森终于开设了印刷厂，专门复制蓝图。
1935年11月，克劳森一到达日本，佐尔格就关照他，第一件事就是架设无线电台。克劳森在莫斯科时曾与他的前任“伯恩哈特”研究过通报范围，以便在东京购置零件。他在美国买了两个管于，另外还需要10个。所有这些管子以及其他必要的设备，都可以在银座无线电配件行搜集到。他从一家配件商店买到铜丝做调谐线圈。克劳森是莫斯科无线电学校最有经验的教员之一，又为秘密工作创建，改装过无线电台，在上海执行任务后，不仅操作技术更加熟练，而且业务知识越发精通。
虽然他的业务工作困难重重，但他泰然处之，至少在初期如此。他要做的第一件事，就是处理掉“伯恩哈特”装配的笨重的发报机。他跟伏开利克一起，在山中湖上泛舟，把它沉在湖中心的深水里。
1936年2月，克劳森的无线电台装配成了，佐尔格指示开始在《伦敦金融消息报》驻日本记者根特·斯泰因家中操作。他每次从家中把收发报机放在一个黑包里，带到斯泰因寓所中。电台没有室内天线，以免引起注意，装置在二层楼，可以避免地磁干扰，只消不到10分钟的工夫，电台便可以准备就绪，进行工作，不到5分钟就可以拆卸完。1938年8月斯泰因离开日本之前，克劳森÷直按时从他家收发报。斯泰因走后，他改在自己家、伏开利克家或伏开利克的前妻家中进行操作，经常吏换地点，以逃避侦察。莫斯科的训练和上海的经验告诉他，电台操作地点要选择在城市人口密集的地区，使日本保安当局的测向工作不断受到干扰，而且要在木质结构的房屋二层楼上操作，既便于传输，又可减少磁性干扰。头两年，联络是断断续续的，每次都由苏联方面主动联系。从1938年8月1日开始，苏联准备每小时的前15分钟接收佐尔格的电报。
呼号是按国际惯例指定给中国业余电台用的。无线电联系还算顺利，通常操作10分钟。因此，克劳森和苏联基地公开非法地利用业余波长进行联系。虽然这种通讯联络被日本当局侦察局侦察过，但他们既无法破译所截获的电文，又无法确定电台在东京的哪个地点进行工作。日本缺乏侦察无线电台的机动设备，而且就城市定向测向而言，侦察半径从来没有缩小到两公里以内。
佐尔格小组除了用无线电发报外，还通过交通员来往于上海和香港与莫斯科保持联系。篇幅长的报告拍摄在胶卷上，由交通员转交给苏联特工人员。克劳森便这样旅行过两次。1936年7月，佐尔格告诉他，根据莫斯科的命令，要把某些拍摄了德国使馆机密文件的胶卷交给上海的一家书店。这个秘密地点是苏联特工在远东的信箱和接头地点，佐尔格在上海执行任务期间曾充分利用过。
1939年6月，克劳森第二次出发，根据详细的指示在上海汇中饭店一层楼的咖啡馆与一名苏联交通员接头。他把十几个胶卷包成一包，交换了6000美元。
1940年，佐尔格终于以著名作家和记者身份加入了纳粹党记者协会。在此之前，他已是德国《法兰克福日报》驻东京的特派记者。他被任命为纳粹党日本地区的负责人。忠实的纳粹竟是大间谍。
风云变幻关键警报
1940年底，德国最高统帅部正在酝酿着对俄开战问题。各种零星的消息不断传来：出征法国的士兵回德国休假；莱比锡新编组了一支由40个师组成的后备军团：参加征讨法国的20个师实际上仍处于战斗状态；一些军用列车从德国向波兰移动等等。佐尔格又巧妙地从柏林来的一位信使口中得知：“……反正元首已在7月会议上确定了消灭苏联有生力量的计划！”佐尔格经过冷静的分析、对比和反复核实之后，从日本向莫斯科发出最初的警报：德国开始准备对苏战争。密码报告的日期是1940年11月18日。这是克劳森抱病在床头发出的。1940年12月30日，佐尔格又发出密电：在苏联边境地区已集结了80个德国师……”1941年3月5日，继续向莫斯科紧急发电：“德国已集中9个集团军共150个师，以进攻苏联。”5月30日，佐尔格向莫斯科发出，战争将于1941年6月22日爆发!佐尔格就德国袭击苏联事先提出警告的报告，是该小组的最大贡献。他们所提供的情报无比准确。6月22日，德国法西斯背信弃义，发动对苏战争，不宣而战!佐尔格小组可能挽救了苏联的命运。
德国进攻苏联后，苏联急切地想知道日本是否遵守两国的中立条约，是否会进攻苏联。佐尔格小组不断地向总部报告日本政府的举动。1941年9月14日，佐尔格草拟了一份最重要的电报：
“日本政府决定暂不攻苏联，日本着意向南挺进……”为了这份报告，他不知度过了多少困难而危险的日月。1941年10月4扫，佐尔格又向苏发出一封最重要的电报：“……日本不可能发动对苏战争。相反，日本将在下几周内向美国开战。”在苏联卫国战争最困难的时候，这些重重情报使斯大林下定决心把苏联远东部队调往西线，拯救了莫斯科，并为以后苏联卫国战争的胜利做了准备。
英勇就义留芳千古
正当佐尔格紧张地收集情报的时候，日本警察局特高课的人员也在加紧搜捕在东京的间谍网，他们也早就行动了。1941年10月，日本秘密警察倾巢出动，拉姆赛小组的全体成员先后都遭到了逮捕。日本当局是通过混进日本共产主义组织的一个外围人员得到有关“拉姆赛”小组的情况的。当时关在日本秘密警察刑讯室的“拉姆赛”小组成员共30多人，分别属于9个国籍。日本警察对佐尔格进行法西斯式的审讯，他遭到严刑拷打和残酷的折磨。佐尔格没有屈服。1944年11月7日，佐尔格坦然地走向绞刑架，举起拳头，行了一个红色阵线礼，然后高呼：“苏联万岁，红军万岁!”
20年以后，1964年，莫斯科公开了佐尔格的秘密。11月7日——佐尔格逝世忌日，追认他为最高英雄，授与列宁勋章。
佐尔格是二战中传奇式的反法西斯战士——著名间谍。他机智灵活、胆识过人。善于分析研究，团结同伴，活动能力极强。因此他向苏联提供了大量重要情报。尤其是德国会对苏不宣而战和日本人不会对苏采取行动的准确判断，可以做为谍报活动的典范载入史册，起到了挽救莫斯科、挽救苏联的作用。佐尔格是苏联人民心中的英雄。他被誉为世界间谍史上杰出的间谍大师当之无愧。
