但当太平洋战争爆发后，日本掀起的巨浪也终于拍向了香港这块世外桃源般的英国殖民地，1941年12月25日，港九殖民当局向日本华南派遣军总司令酒井隆中将投降。入夜后，飘扬在香港上空的英国米字旗换成日本太阳旗，对胡蝶来说，这是一个黑色圣诞节——就在英军向日军投降的这一天，以《驸马艳史》出名的红影星梅琦小姐偏偏把与有“华南影帝”称号的张瑛的婚礼定在了这一天，结果，前来的不仅有嘉宾，还有不速之客日本兵，日本兵当着张瑛的面将梅琦洁白的婚纱扒下，然后强奸了她。当得到这个消息后，同为影星的胡蝶自然有一种不寒而栗的感觉，因此，她后来把香港投降日称之为又一个“蝶耻日”。
当初，上海沦陷后，许多演艺、文艺界名家都躲避到了香港，如梅兰芳等人，日本占领香港后自然会盘算如何利用一下这些文艺资源。果然，日本占领香港后不久，日军报道部艺能班长和久田幸助就不请自来，前来拜访胡蝶。和久田幸助的中国话讲得很地道，他甚至还会讲广东话，彬彬有礼地向胡蝶提出了日本方面的愿望：平等合作，尊重自由，接受日军的保护。善于应承的胡蝶自然同样以礼相待，但她却另有打算，她明白日本人一定会再来，会提出如何合作。果不其然，几天后，和久田幸助就再次光临，这一次，他带来了详细的合作计划：日本拟邀请胡蝶前往东京，拍摄一部《胡蝶游东京》的纪录影片。三天前，也就是和久田幸助登门拜访后，胡蝶就忐忑不安地来到梅兰芳的住所，此时，梅兰芳已经留起了胡须，那是因为日本方面也希望他到东京去表演《天女散花》，他以蓄须明志的方式拒绝了日本人的邀请。三天后，就轮到胡蝶做出选择了。
聪明的胡蝶没有像梅兰芳一样硬碰硬地直接拒绝日本人，而是告诉和久田幸助她已身怀有孕，她也愿意与日本合作，但希望能在孕期结束之后再前往东京。而当和久田幸助离去后，胡蝶立即让潘有声准备外逃，他们准备逃往重庆。潘有声通过秘密关系找到了东江抗日游击队，得到了他们的允诺。但还有一件麻烦事就是他们的家当很多，夫妇二人都是收入丰厚之人，仅贵重财物就装满了整整30个箱子，如果带着这些箱子一起走那就无异于大张旗鼓地搬家，日本人自然不会真正给他们这样的“自由”。胡蝶只好将这些家当都托付给“国际难民救济总署”的杨惠敏代为托运，然后他们夫妇二人先行悄悄离开香港。杨惠敏此人也是在上海沦陷后来到香港的，当时在淞沪抗战期间，杨女士也曾冒着枪林弹雨到四行仓库向守军献旗，上海沦陷后，她由国民政府赈济委员会派到香港做接运爱国抗日人士到后方去工作，而且她与胡蝶夫妇交往颇深，胡蝶信赖她。
随后，胡蝶夫妇在东江抗日游击队的帮助下秘密潜出香港，然后辗转绕道越南，再进入广西，但当他们来到韶关的时候，他们得知，委托杨女士托运的30箱物品全部丢失！胡蝶闻听此言不由地面色大变，因为这30箱东西几乎是他们夫妇二人的全部积蓄，另外其内还包含着她从影后一些颇具纪念意义的东西，如戏服、友人赠品、私人衣物等，这些是无从弥补的。
