潘玉良大嗓门嚷出“公狗比男人好”这一惊世骇俗的观点，全校哗然。那时候，纵然在大上海，纵然是艺术工作者当中，礼教的作用仍不可小觑。男同事们推理：好哇，潘玉良此语岂不等于重重地刮了所有男人一记耳光？公狗都比我们好，我们都不如公狗？女人们都闹起革命，休了男人，牵回公狗？潘玉良又一次成为全校的焦点。她的出身又被抖出，大家一致认为：潘玉良因自己人所不齿的经历，一直有仇男倾向，因此才对男人公然蔑视，对男权社会公然发难并妄图颠覆，长此以往，男权大厦焉能不被摧毁？潘玉良一下子被推到整个男性世界的对立面，全校男性与她势不两立。大家一起发难，逼迫刘海粟辞退了潘玉良。
潘玉良这下终于明白：那个纸枷锁还牢牢地架在自己的脖子上，世人的目光蜻蜓点水般打她的画作上掠过，直扑她的身世。稍有不慎，她便面临灭顶之灾。
中大艺术系主任、潘玉良留法同学徐悲鸿向她发出聘书，请她共同主持中大艺术系画室。潘玉良怀着一份希望来到南京。但她受到了冷遇。
徐悲鸿画室里人满为患，却没有学生选潘玉良。潘玉良耐心地等待着，最后才有两名学生走进她的画室：一个是郁达夫侄女郁风，一个是徐德华。
潘玉良调整好了心态，不抛弃，不放弃，精神抖擞地投入到小众教学中。潘玉良的课比较自由，可以随便画。郁风眼中她“为人豪爽，教学认真”，画像雷诺阿，属印象派。潘玉良以诚相待，和两位学生相处融洽。
一次，郁风穿着一件红衣服翩然飞进画室，潘玉良眼睛一亮，遂邀请郁风给她作模特儿。
两人来到树阴底下，潘玉良眯缝着眼审视了一下，“唰唰”挥起笔来。
精益求精的潘玉良一连摆弄了郁风几天才放了她。郁风不以为苦，反以为荣。
由于选她的学生太少，教学上没有太大建树，又因艺术观点和教学方法与徐悲鸿相背，因此，在中央大学潘玉良一直没有当上教授。这是对她艺术才华的直接否定。其实她一直很努力。
她分明感到，无论她怎么努力，仍被排挤在主流之外。
这使她感到压抑。
回国后，潘玉良对中国传统绘画有了全新的理解。她痛心地意识到，自己在传统修养方面有很多疏漏，亟需恶补。另外，她虽有志于献身国内美术教育，但早年不幸的出身时被披露，总会引来学生异样的目光，她几乎难以立足讲台。1937年，借参加巴黎举办的“万国博览会”和筹备第二年有她作品参展的DESTUILERIER（沙龙）美术展览会，潘玉良再次远赴欧洲继续深造，开始了长达四十多年客居他乡的生活。
二度留法
抗战爆发后，潘赞化雇了三只船才将潘玉良的作品运回桐城老家。
他视潘玉良的作品为珍宝，运回后，为给她的作品配画框，他又请了几个木工，做了几个月才完工。这批作品除后来移居安庆时带出来四幅，其他全毁损于内外战争的硝烟中。而带出来的四幅又毁于“文革”动乱中。
1940年9月3日，看到潘玉良参加沙龙的有关照片，潘赞化替她骄傲：“你有坚决的志气、勇敢的精神，要为中国在美术界中放异彩，为个人在艺术上争千秋，我总是赞成你的计划。”
潘玉良只身旅法数十年，时刻思念着亲人、关心着祖国。她在给潘赞化的作品照片上题诗：“边塞峡口三更月，扬子江头万里心。”
抗战期间，她在极其艰难的环境中，千方百计地托人将信寄给潘赞化，“望兄时时来信”告诉她国内的形势。
柏文蔚出任国民革命军三十三军军长时，委潘赞化为副师长。潘赞化后转赴南京，在实业部任科长。抗战爆发后又随实业部到重庆。潘赞化写信告诉潘玉良：“日机虽每日轰炸，不能动摇我抗战心理。”他坚信“将来我国形势必走苏俄路线”。潘玉良1944年的苏联之行，及油画《莫斯科》的创作等大概与此不无关系吧。
潘赞化于1930年离职，携子潘牟徒步返回故里，倾心家乡教育事业，1942年出任桐城孟侠中学校长。他在故乡练潭潘家楼创办了木崖、黎阁小学。潘赞化身高体魁，长髯拂胸，举止潇洒；与僧尼、居士交往甚密，主张儒、释、道三元合一；行为怪异，乡人称为“桐城怪杰”。他喜欢吟诗作赋。“九一八”事变后，目睹国土沦丧，常以诗愤世，寓意禅林。他曾在佛教胜地九华山作七律一首寄陈独秀，诗云：“匈奴未灭不为家，卅载风尘两鬓华。故国已成俎上肉，时贤相厄眼中沙。白霜公子啁天水，赤铁道人练雪花。宇宙原来一桎梏，心藏丘壑自烟霞。”陈独秀接到诗后，亲笔草书吊屏，真迹今藏桐城文化馆。
新中国刚成立，潘玉良就来信说要回国。潘赞化回信：“朝鲜战争爆发，上海‘天天空袭，人心惶惶’，还是在国外安居几年为是。”这才搁置下来。此后，她鼻疾发作，多次手术，尤其是1952年的手术，术中遇险。
1953年以后的几年，由于王守义为她策划的展览成功，她就忙了起来。
那几年是她事业上最成功的几年。1956年，她第二次正式申请回国，但因法国当局不准带回作品而滞留交涉。她曾函请安庆市民政局协助解决此事，却因中法无外交关系未果。
潘赞化安慰她：“我中国数千年的故事小说，人生遭遇结局总是大团圆，你放心罢，也不能例外呵！”的确，“大团圆”是中国传统故事的统一结局。潘赞化乐观地以此安慰潘玉良。还是中国思维、中国风。
1958年潘玉良致信潘赞化：“赞兄，我虽然不便同你一起生活，但精神方面你我是相通的……”
这样的话，总是令人想流泪。
在法国，潘玉良长期住在穷学生常住的小阁楼。
和她接触过的人都说她为人善良、内心坚韧。旅法画家贺慕群曾回忆说：“潘玉良生活并不富裕，但是生性豪爽乐于助人。气势不让须眉，颇有男子气度。”晚年时她生活在蒙帕纳斯附近的一条小街，住在顶楼，住房兼画室，生活清苦，但仍勤于作画，有时候一天到晚在家作画，整天都不出来。
1954年，法国曾拍过一部纪录片《蒙帕纳斯人》，介绍这个地区的文化名人，其中就有潘玉良，她是片中唯一一个东方人。
在法国，画家属于自由职业者，要靠卖画维持自己的生活。而巴黎又是高消费的城市，为人忠厚诚实的她，没有代理商代理出售作品，也不会宣传“推销”自己。于是她的画卖出的很少，往往入不敷出，只能靠社会补助金勉强维持生计。然而，巴黎浓厚的艺术氛围很快使她忽略了一切的困难，依然孜孜不倦地创作。
她有“三不”女士的称号：一生坚持不入外国国籍，不恋爱，不和任何画商签订合同，努力做一个独立的人。战后，艺术家与画廊的合作更为密切，拒绝与画商合作，成功的机会就减少了许多。尽管如此，仍有赏识她才华的法国文化界人士，邀请她在巴黎塞努希博物馆举行展览。
1965年中法建交，年迈的潘玉良多次来信要大孙潘忠立去巴黎，一边帮她整理作品，一边好接她回国。然而“文革”爆发了，潘玉良回国梦再次成为泡影。她信中屡屡说自己在精神方面相当痛苦，有家回不得。
故园东望路漫漫
1952年12月14日是潘牟的生日，他寄信潘玉良：“育长秋苗特要肥，谁言寸草报春晖，千年寿上西王母，八骏何时速驾归。吾妈慈鉴。”收到这样的信，潘玉良一定紧捂在胸口，又要哭来又要笑吧，家信抵万金，何况是这样浓酽的亲情信！潘牟如此感恩，不枉潘玉良教养一场，她应该感到欣慰了！值得一赞的还有方氏，她的偏见终于泯灭在时空的差距中。
潘玉良的亲和力、潘赞化的教子有方、方氏的宽容厚道，终使潘家后人一直对潘玉良敬爱有加，为她保留了一个情感大后方，他们是她的力量源泉啊。兴之所至，她或乘兴唱一折戏，或敞开胸怀来个一醉方休。
聚少离多，在一起的十九年是潘赞化和潘玉良彼此最温馨的回忆，潘赞化每每深情地重温往事来自我慰藉。在追忆的聚焦镜头下，点滴都是诗，时时都是蜜月。1955年5月28日潘赞化信：“你还记得在南京乘凉，教牟背乘数表吗……”写这样的信，潘赞化的心里一定很柔很柔。
五六十年代，国人时有饥馑，潘玉良在潘赞化的信中得知家人饱受冻馁之苦，伤心极了。因为当时中法尚未建交，通邮都必须经过香港，通汇更是不可能。情急之下，她哀求香港的一位老朋友每月代她汇款。潘赞化1957年9月15日信：“看你的信，写：‘哭求马太太寄钱，她可怜你哭诉你家孩子没有肉吃，才肯收下来代寄’等语……连我都几乎落下泪来。”
潘玉良宁可节衣缩食，也不愿中断汇款，切实保障了潘氏子孙的求学及全家人的物质生活有序进行。潘赞化的老朋友、时任中央文史馆馆长的章士钊得知潘赞化晚景潦倒，向周总理举荐，潘赞化遂成为安徽省文史馆第一任馆员，家里经济状况才有所好转。潘赞化在给潘玉良的一封信中很感慨地说：“生我者父母，活我者玉钊也……”（注：玉：潘玉良；钊：章士钊）潘赞化实在谦逊。他对潘玉良有再造之德，而她，是在报恩。
家人团聚时，潘赞化格外思念独在异乡为异客的爱妻。1959年2月15日潘赞化致信潘玉良：“玉妹爱见：……今年三十他们在身边多添一双筷子、酒杯，如同你在家一样，各人都写信给你，并将作文抄一篇给你看，忠玉更是可爱，每到我房，必指着你像叫奶奶与他亲嘴……”
