12月8日至15日，毛泽东在上海召开了中央政治局常委扩大会议，议程是整罗瑞卿。罗瑞卿本人事先不知道，开会之初也没有叫他。来开会的人的是分批通知的，会前也不知道会议内容。他们到后，被安排在毛泽东驻地休息室等候。
接替罗瑞卿当公安部长的谢富治，在休息室转来转去，没有发现他前任高大的身影，有些奇怪地问：“罗总长怎么没有来？”没有人回答他。他仍觉奇怪，又一次朝着闲聊的与会者问：“罗总长没有来，是不是忘记通知他了？”
叶剑英听见了，答了一句：“主席不会忘事。”
上海会议在锦江饭店的小礼堂召开，会议由周恩来和邓小平等主持。
邓小平简单说了几句，说事先不知道开什么会，现在分四个组，宣布了组长，就让分头开小组会。在小组会上，发给每人几份材料，有叶群的报告，有李作鹏、吴法宪等人的几封告状信，还有署着刘亚楼名字的打印的一封信。会议宣布了纪律，材料不准交给秘书，自己装在身上。当天看完当天交，不准对外打电话。
李雪峰参加的那个组由周恩来主持，贺龙也在这个组，还有叶群等所谓知情人。
叶群在会上介绍她与毛泽东谈话的过程。她揭发罗瑞卿和刘亚楼两个人躺在床上，密谈一直到天黑，说罗瑞卿要刘亚楼转告叶群四条决定：
一、林总早晚要退出政治舞台的。不退也要退出，现在不退出，将来也要退出政治舞台；
二、要好好保护林总的身体；
三、今后林总再不要多管军队的事情了，由罗总长去管好了；
四、一切由罗管，要放手叫他去管。
还说罗骂林是“占着茅坑不拉屎”，等等。
在会上，邓小平比较和缓，传达了毛泽东在12月2日在海军的报告上对罗瑞卿问题作的批示，内容是：“那些不相信突出政治，对于突出政治表现阳奉阴违，而自己另外散布一套折中主义（即机会主义）的人们，大家应当有所警惕。”周恩来也很谨慎，态度不很明朗，贺龙讲了几句。
会议涉及的主角——罗瑞卿却没有出现在会场。
罗瑞卿接到通知赶到上海时，已是11日。那时，他正和夫人郝治平在云南边防线上。据郝治平回忆：
到昆明的第二天，罗瑞卿和昆明军区的领导干部见了面。谈话的时候，阎红彦、周兴都在场。大家请瑞卿同军区的一般干部见个面，作个报告。瑞卿说没什么报告好作，不过见个面和大家谈一谈，我是很愿意的。就去同大家见了面。回到住所，秘书就来说中央来了电话通知瑞卿去上海开会。开什么会，没有讲。我们觉得有点突然，开会的事情怎么事前一点都不知道呢？原来中央开会可不是这个样子的。那时书记处的几个人，小平同志、李井泉同本来都是在昆明的。他们想去看看三线的建设情况。知道瑞卿也来昆明，电话联系好了在昆明碰个头，然后一起去看工厂。可是瑞卿还没有到，邓、李二人就被叫到上海开会去了。可见，开会，开什么会，他们事先也不知道的。我们问阎红彦关于会议的情况，阎也说不清楚啊。后来，彭真同志打电话问总理，总理大概是知道会议内容的，而且可能向彭真吹了一点风。彭真同志又打电话给瑞卿说，你去吧，去了就会知道了。我们就猜，也许是军事上的事？因为这样子保密和紧急。
时间是个精灵。当你注意它的时候，它会给你某种暗示。罗瑞卿感觉到异常，正是从时间上开始的。平时，和其他中央领导一样，飞机起飞的时间基本上是由乘机的领导定的。而这一次，他却被告知：飞机将定在10点起飞。罗瑞卿按老习惯对任何他不了解的事情都要问一个为什么，空军回答：上海虹桥机场上有英国人的飞机要降落，所以定了这个时间。罗瑞卿相信了，坐上飞机又按他的老习惯批改起文件。秘书都知道这是他批文件最好的时机，所以秘书都盼着罗总长坐飞机，这样一大堆文件就可以及时处理了。飞机上多了几个人，其中有暗中监视他的，他根本不知道，脑子里不是文件就是这次的边防考察。
郝治平似乎也没觉察到什么。下午2时左右，飞机已飞临上海上空，郝治平碰碰罗瑞卿，叫他不要看了，上海到了。罗瑞卿朝机舱外瞅了一眼，放下笔：“好快，这就到了嘛。”他离开小桌时，秘书按常规将文件收了起来。
飞机在机场停稳了，罗瑞卿哈下他的腰，走出舱门，朝机场四周扫了一眼。他发现今天的机场异常平静。往日他来上海时，总有一大帮接他的人。因为他身兼13职，除了上海市委的，还有军队的，公安的，哪个系统似乎都能与他挂上钩。他虽然表面严肃，却是热心活跃的人，所以一下飞机，总是和下面的人说说笑笑，问这问那，场面热闹。可今天来接他的人只有两个：上海市委书记陈丕显和空军司令吴法宪。
罗瑞卿不及细想就下了飞机。
而女性的心更细一些，郝治平觉察出什么。本来和她乘此架飞机到上海的，还有一位领导同志的夫人，飞机一落地，郝治平就忙着给她安排进城的车子。可吴法宪在一旁却显出老大不耐烦，催促着：“不要你管，不要你管，有人来接她的。”
这可不是往日谦恭的吴法宪。
郝治平不止一次见到过吴法宪的殷勤。每次接待罗总长时，连开关汽车门和脱穿大衣这些警卫员分内的事，他都要亲自来做，而且是一贯的。有一次吴法宪甚至对郝治平说：“苏联人把斯大林称作他们的父亲，其实我们这些人还没有资格称毛主席为父亲，我们只能将林总和总长这样的人称作父亲。”郝治平觉得这话听起来有些刺耳，但对他的热情又不好泼冷水，有时心里觉得好笑：这个不小的将领怎么这样。
这次，吴法宪像换了一个人，虽然还是胖成一团的身材，可平日的笑模样和频频点头却没有了，有的只是不停地催着罗瑞卿快上车。坐在一旁的陈丕显也显出与往日的不自然。往常他们有机会坐到一起时，总是谈个不休，这次陈丕显虽然也时常说几句话，掩饰着尴尬，话题却有些东拉西扯，不着边际。快到目的地时，陈丕显说：“这次不住锦江饭店了。锦江饭店人都住满了，住不下，另外为你们找了一个地方。”
没等罗瑞卿问个究竟，车子已经进了建国西路618号，停了下来。罗瑞卿钻出车门时，发现这是一个小院子，一座二层小楼前站着岗。陈丕显指了一下：“你们就住那个楼里。总理和小平同志都在房子里等你。”
这句话却让罗瑞卿吃了一惊。郝治平的脸上也觉呼地热了起来：不是来参加会议的吗，怎么要先个别谈话。按他们的经验：个别谈话不会是什么好事，尤其是有两位高层领导同时出现的场合。好事是可以一个人传达的，但坏事或者难事必定有两人以上参加，以免难谈和有人作证。
罗瑞卿被引到一间会客室。周恩来和邓小平已经坐在那里等候和他谈话。与此同时，郝治平也被其他人叫到楼上去了。她看到楼梯口和会客室门口都站着一些公安人员，上海市公安局副局长王鉴也在场。凭着她在公安部工作过10年的经验，她清楚自己和丈夫是被看管起来了。
郝治平侧耳听着楼下会客室的动静，听不清楚。她想下去看看动静，被拦住了。她越发着急起来，她知道可能有祸事临头了。当她听到院子里汽车发动的声音，确认周总理和邓小平已经离开后，就急忙朝楼下走。在楼梯口，她看见罗瑞卿正要上楼，脸色灰暗，浑身疲惫，站在楼梯前迈不动步子。王鉴副局长上来搀扶他，被他轻轻推开了。他是想自己上楼，可连上楼的力气也没有了。郝治平三步并着两步，下去将罗瑞卿搀上了二楼房间。
两个人面对面坐着，罗瑞卿轻轻地喘息着。过了好一会儿，郝治平问他：“这是怎么了？到底什么事啊？”
罗瑞卿看看了桌上的茶杯，想拿又没拿，缓缓地说：“开会了，说我反对林彪，封锁他，对他搞突然袭击，反对突出政治。说我伸手。我没有！”罗瑞卿的声音大起来，“我没有伸手。我的工作都是党中央和毛主席任命的。我没有封锁他。我该和他讲的都和他讲了。就是有些问题我向总理、主席直接讲，听他们的指示，这是应该的。而且林彪知道，谁都知道的……”
罗瑞卿说着说着，眼泪夺眶而出。他的神色有些激动：“我没有反对林副主席，没有伸手，没有反对突出政治。杀了我的头也不能承认这些。我要见林彪！”说完，他就打电话给周恩来，开始没人接。他觉得周总理能够替他说说话。在会客室，周恩来讲了这次上海会议的内容，随后转述了叶群代表林彪在会上对罗的指责。周恩来也传达了毛泽东所说的“反对林，还没有反对我”的话。邓小平传达了毛泽东和中央政治局常委的意见，即：一、情节是严重的；二、同彭、黄有区别；三、从长远看，还是有成绩的；四、中央未察觉也有一定的责任；五、党的方针仍然是惩前毖后，治病救人。只要认真地改，仍然准许革命。
周恩来的电话通了，罗瑞卿急迫地说着，他要求去见毛主席，去见林彪，他相信自己能把一切解释清楚。
周恩来大声地讲着，声音有些激动：“太天真，你太天真了！”
罗瑞卿很少听到周恩来这样说话，心情反而平静一些。
周恩来还是告诫他：“你不要激动，不要到主席那里去，也不要到林彪那里去，你要到什么地方去，要告我们一声。”听到罗瑞卿的答应后，周恩来又说，“这次开会，为了避免历来开会的副作用，采取背对背的办法，你可以不参加会。”
罗瑞卿只能接受这一切。
好在上海会议是个神仙会。不许记录，不许录音，一切只限于会上。虽然说是批判罗，但远没有形成敌我态势，会后还是有不少人来坐一坐，与罗瑞卿说些与会议无关的话题。当时只能这样。（此前后内容，参照郝治平的回忆，转引自罗点点回忆父亲的文章）
在他们居住的618号里，细微地觉出罗瑞卿变化的，自然是他的妻子郝治平。就几天的时间，她已明显感到丈夫从一个生龙活虎、坚定自信的人一下子变得无可奈何。不能参加会议，又不能去见毛主席，受着天大的委屈，无法辩白，真是说不出的味道。这5天里，他们唯一可以做的事情就是在院子里走一走。那个院子有一条不到20米的通道。他们就从住房的门走到院子的门，到了收发室往回走。就这样一来一回地走。那时已经有人在监视他们了。他们自己也根本没有心情出去。就是心里想不通，怎么也想不通。
后来，周恩来和邓小平又一起来找罗瑞卿谈话：“主席说了，没有这三条（指反对林彪、反对突出政治和向党伸手），有别的，可以检查别的。”
罗瑞卿弄不懂地问：“别的有什么呀？”
“你和别人的关系不好。”
谈话后，罗瑞卿将此告诉郝治平，郝治平就对他说：“关系不好，那就检讨关系吧。”
所谓的关系不好，就是说罗瑞卿在工作中不尊重老帅。其实不然。刘伯承元帅听到这个说法，就说：“我这个人身体不好，进城后不能做什么工作，罗长子还是往我这儿跑，有事同我商量，我倒没有什么感觉。”
12月16日，就是罗瑞卿被允许离开上海回北京的前一天，周恩来和邓小平受毛泽东的委托，又来找罗瑞卿，他们告诉他说，毛主席对林彪说，反对你，还没有反对我呢。就是反对我到长江里游泳，还是一片好意，这是一。第二，主席说，如果没有这三条，可以把问题先挂起来，中国有很多问题都是挂起来的，挂几百年不行，还可以挂一万年。有什么就检讨什么。还说，罗的工作是有成绩的。主席讲，这个事，告诉罗总长回北京，回北京再说吧。
那天，邓小平的夫人卓琳也坐同一辆车来了，当他们三个在楼下谈话时，卓琳就上楼来找郝治平。她劝了她一阵，郝治平问她：“你们是什么时候来的，发了些什么文件？”
卓琳说：“不要提了，不要提了。这次开会和过去什么都不一样，非常神秘。我们这些当秘书的都看不见文件。都是小平同志自己装在口袋里。看完了，谁交给他的就退给谁。”
后来贺龙夫人薛明回忆说：贺老总也是这样，发了文件就自己装在口袋里。后来，两个口袋装得满满的，也不让她收拾整理一下。
郝治平又问卓琳：“你看到什么人了吗？”
卓琳说：“谁也不走动，不串门。不好串门呀。”过了一会儿，她又说：“这个问题本来可以不这样办，但是现在已经这样办了，那么就这样子吧。让总长好好注意身体。回北京后家里还有孩子，可以解解闷。”
郝治平对卓琳说，她想不通，怎么也想不通。她打开随身带的大本的《毛主席语录》，翻到关于要做老实人那一段话，让卓琳看。毛主席说，陈独秀、张国焘等等不是老实人，不老实的人没有好下场。马克思、恩格斯是老实人。郝治平说：“我这几天就靠这一段过日子，要是没有这句话，我这日子过不了。”
卓琳说：“不要想那么多，还是照顾好罗总长的生活。”
说着，两人都掉了泪。
17日，他们和周恩来、邓小平、李富春等一同回北京。在飞机上，郝治平碰到陈毅夫人张茜，问道：“你怎么一个人回来？”
张茜说：“陈老总没开完会就走了，说他有事，又没什么好说的。”
到了北京，原先因为老房子维修，他们暂住钓鱼台。罗瑞卿觉得那里有外宾，不好，就搬到了新六所二号楼。
有关上海会议的情况，在《康克清回忆录》中也有述及：
1966年1月下旬春节期间，朱老总参加上海会议后辗转到杭州。见面后，我发现他常常独自一人叹气，我关心地问：“你有什么不好过？”
“没有什么。”他说得有气无力。
“不会没有什么吧！”
几十年的相处，我对他已经十分了解，知道一定发生了什么使他不舒心的事，经我再三询问，他也不说。后来他烦了，喊了一声：“不要问了！”
过了一会儿，老总的秘书悄悄对我说，这次上海会议批判罗瑞卿，说罗有篡军反党的野心，撤了他中央书记处书记、军委秘书长、公安部长等职务。以后我问老总是否为上海会议的事心不畅，他叹了一口气说：
“肃反肃到我们党的内部核心。是真的？是假的？弄不清楚。罗瑞卿那些事都看得见，他办的每件事都报告过中央，经毛主席同意的，说他篡军反党，无法让人相信。”
他在屋里低头沉思，来回踱步。过了一会儿又说：
“为什么要撤？这不是撤一个罗瑞卿的问题，像这样可靠的人都撤，打击面宽了，真假失去了标准，今后党内要不平安了。”
