1557年，黄佐回归故里。此后他深居简出，教授学生，少通宾客，埋头著述。1566年七月，黄佐病重，仍然作诗不辍，有“气完光岳，身在云霄”和“贻谋无厚业，忠孝种心田”之句。七月二十六日（1557年8月20日）傍晚，黄佐与学生一起研究《易经》，之后他从容整理衣服，对众人说：“弘毅之学，当如是也，小子识之。”遽然而逝。黄佐有三个儿子（在中、在素、在宏）和一个女儿（嫁给黎民衷）。又有三个孙子（谦之、谐之、讽之）和五个孙女。清人有诗评论黄佐一生：
七星毓奇才，谓与张王亚。
政要疏方陈，尚书盛夸诧。
西江掌刑名，终养疏乞假。
督学补粤西，士习蒸蒸化。
累官至南雍，作人声藉藉。
《乐典》方告成，名流增声价。
无何致政归，粤洲筑草舍。
两粤文献征，董狐名不谢。
著作称等身，海内争脍炙。
1567年十二月二十二日，后人将黄佐埋葬在白云山栖霞岭泰泉书院之上，黎民表为撰《行状》。此后，隆庆帝先后两次下旨表彰黄佐，赐谥号“文裕”。黄佐去世后，官府在广州城承宣街建了一座大司成牌坊，以此纪念黄佐曾经担任南京国子监祭酒的事迹。牌坊原为木质结构，日久废损。1797年，牌坊在黄氏族人的协助下重建，易木以石，两柱单间，高七米，宽五米，坊额刻“大司成”，上刻有“宫詹学士”，再上刻“恩荣”二字，匾沿边刻有精致装饰的花纹，脊上一对石雕鳖鱼。此外，广州城正南门内盐司街粤秀书院内有黄文裕祠以及先贤祠，越秀山的粤洲草堂以及白云山云泉山馆内的三贤祠均祀奉有黄佐的牌位。粤秀书院先贤祠原来未设黄佐牌位，杭世骏担任粤秀书院山长，一天问道：“为何先贤祠内有方献夫和霍韬，却漏了黄佐呢？先朝广东名贤学者辈出，但著述之富、德业之醇，无人比得上黄佐啊！”除黄佐之外，杭世骏还要求在祠内增设宋代李昴英的牌位。在香山，县城的乡贤祠里祭祀着黄瑜、黄畿、黄佐，祖孙三代同祀乡贤者绝无仅有。在香山县衙的左右两旁，分别为黄瑜、黄佐树立起“擢秀坊”和“解元进士坊”。
黄佐曾说过：“如果先辈有善行后代不知道，或者知道不流传，这是不仁不孝的事情。”他曾整理黄瑜言行录，名为《槐景流芳》，以广流传。在黄瑜、黄畿、黄佐三人的影响下，明清两代乃至民国，香山黄氏一门继续在广州传承学术，成为“文化世家”、“文献之家”，受到后人的普遍认同和赞赏。黄佐长子黄在中，字幼通，与三弟在宏均为明诸生。次子黄在素（1528—1588），字幼彰，号水濂、楚庭。1555年举人，曾任福建漳州通判。1573年，黄氏兄弟在1542年刊行的《泰泉集》十卷本的基础上，出版《泰泉集》六十卷。明末清初，黄佐重孙辈保持气节，不仕清朝，其中以黄逵卿最为著名。黄逵卿（1626—1693），字广思，号香樵。十八岁补邑庠生。入清遂弃举业，与陈恭尹等人隐居西樵山，躬耕自乐，不求闻达。后来陈恭尹等皆以文章成名，黄逵卿则立志谨守先世事业，搜罗前辈著述文章，补辑校刊《泰泉集》，重修祖屋祠堂，恢复旧址。黄逵卿子黄铭，字镜心。以优异成绩入国子监。黄铭看到粤秀山的涵一亭荒废不堪，于是在香山莲峰买地新建友琴堂、涵一亭，让友人读书其中，家学相传勿替，以此纪念先人。
清朝中叶，黄氏家族日渐衰落，黄铭之孙黄绍统为黄家再争得声名。黄绍统（1726—1788），字燕勋，号翼堂，学者称“仰山先生”。黄绍统八岁时，父亲黄冕去世，家境愈加贫困。黄绍统继承先辈学风，勤奋读书，刻苦钻研，生活上清贫度日，一餐只靠田螺下饭，怡然自得。1759年，黄绍统考中举人。1766年，黄绍统任广东石城县（今廉江市）训导。他教育学生以圣贤实践之学，设计诗文书法程式，对贫困生员尤为关怀。黄绍统在石城讲学之地名叫“仰山堂”，自署门联：“为伦类中所当行之事，作天地间不可少之人。”黄绍统在石城任职十八年，升任琼州府教授，离开石城时，士民夹道送行，在长达二十多里地设置三百多个帐篷，场面空前。在海南，黄绍统操守廉洁，潜心治学，深得爱戴。黄绍统在琼州病逝，吊唁者络绎不绝，石城人闻噩耗，渡海致哀。黄绍统的灵柩回归泰泉旧里，石城百姓前来吊唁。后来每逢考期，石城考生均到广州泰泉旧里黄氏祠堂祭拜，以示尊敬。黄绍统博学能文，尤长于诗，其诗抒写性情，和平浑朴，雅近唐贤。著有《仰山堂遗集》三卷、《石城县志》八卷以及《古文五选》。清人张维屏称赞翼堂说：“先生之诗，质朴和雅，一洗艰澁诡僻佻浮纤仄之弊，其言根心而发，绳绳然一禀于文裕公之中声者为多。”
黄绍统堂弟黄绍缙（1730—1805），字达勋，号湜池。邑庠生。自幼恬淡真挚，遇事直道而行，师从麦瀚。与黄绍统亲密无间，研治诗经，著有《诗经辑要》两卷和《湜池诗草》一卷。黄绍统有两个儿子：黄沃楷、黄培芳。黄沃楷（1749—1770），字式方，号松谷。邑庠生。翁方纲督学广东，赏识沃楷，补诸生。黄沃楷二十岁时与友人游罗浮山，归来得疾，不幸逝世。黄沃楷著有《松谷诗钞》一卷。
黄培芳（1778—1859），字香石，1804年中副榜，入读国子监。1822年，黄培芳充武英殿校录官，后历任广东乳源、陵水县教谕，肇庆训导。黄培芳喜游山水，他奉罗浮山为“粤望”，并与友人在山顶建筑石室，以观日出，祭祀山神，颜曰粤岳祠，自号“粤岳山人”。黄培芳修《浮山小志》一书，内有诗云：“粤洲祖、泰泉翁，居山著述侔化工。图经特为辟真面，贤关何意埋荒丛。”黄培芳少有诗名，其“诗歌高浑，有山水清音”，其中《燕郊秋望》名重当时，风调直逼盛唐边塞诗。黄培芳与张维屏、谭敬昭并称“粤东三子”。1840年鸦片战争，黄培芳号召民众抗英，不费官帑，组织两千多人防务虎门等炮台，调集五万多人加入团练，建仓储粮十万多石，贡献良多，时两广总督祁奏疏道光，授内阁中书衔。黄培芳从事教育，1808年，他主讲广州羊石书院，订立《戊辰学规》，内有敦本行、敬威仪、立课程、重传习、慎交游、节出入六则，与学生共勉恪守。黄培芳一生著作丰富，世称“岭南名儒”，他著有《易宗》《书训纂》《礼记郑注翼》《春秋左传翼》《十三经或问》《四书阐注》《四书考释》《十七史详节补订》《香石诗话》《粤岳堂诗话》《香山志》《重修肇庆府志》《重修新会县志》等共五十多种六百余卷。
与黄培芳同辈，黄氏族人研经著史者还有黄沃棠、黄大幹、黄芝、黄谦等。黄沃棠（1752—1811），字荫亭，黄培芳堂兄，诸生。性情浪漫，气概超拔。画墨蟹山鸟，殊有别趣，善书工诗，著有《诗经表注》四卷、《楚游草》一卷。黄大幹（1774—1839），字子直、临溪。黄培芳从兄。敬承家学，有志古文，闭门读书，著述自娱，不求仕进，尤肆力于古文，与林伯桐、吴雁山、张维屏等人相讲求卓。著有《史记详节》八卷、《古语类编》一卷、《临溪文集》四卷及《续集》四卷。黄谦（1774—1855），字子牧，号虚谷，诸生。黄培芳从兄。孝友乐善，古道待人，廉隅自励，韵语能自写襟怀。林伯桐称黄谦“内行甚笃，人所共知”。著有《尔雅笺略》八卷、《周礼节钞》二卷、《四书纂说》十卷、《纲鉴易知录摘钞》六卷、《虚谷诗钞》二卷、《淡泊轩文稿》二卷、《淡泊轩赋钞》一卷。黄芝（1778—1852），字子皓，号瑞谷。黄大幹弟。为人慎言语，寡交游，博览群书，以授徒为生，以著述为业，擅考据之学，长于记载。著有《诗经正字》三卷、《四书句读正伪》一卷、《粤小记》四卷附《粤谐》一卷、《镌印要诀》一卷、《瑞谷诗钞》二卷。
黄培芳长子黄熊文（1800—1877），字世让，别字湘山。郡庠生，入读国子监，选儒学训导。著有《读易札记》《历代百贤录》《续广州人物传》《词场祖述》《文钞》《诗钞》等。其弟黄照文（1803—1820），字月山。儿时潇洒不羁，稍长喜吟咏，有父风，气格直迫老苍。尤爱山水，九岁徒步入白云山扫墓，恒徘徊泉石间不欲去。尝思祖德，欲力学以自振，十八岁时病逝。著有《月山遗草》二卷。黄培芳从孙黄映奎（1855—1929），字仲照、日坡，学海堂专课生。1901年岁贡。1909年粤中举贡会考，被选送京城任职。梁鼎芬倡修《广东通志》，黄映奎任通志局分纂，他创办时中国文专科学校，教学三十多年。晚年入罗浮酥醪观当道士。平生勤于著述，工诗。著有《续广东通志艺文志初稿》《山堂思旧集》《国朝岭南骈体文钞》《感书杂咏汇存》等。
黄佛颐（1886—1946），字慈博，号慈溪，黄映奎子。1909年拔贡第一，曾任广东通志局分纂、香山志局分纂、广州时中学校校长。博学多才，工诗文词，研究地方文献。著有《广东宋元明经籍椠本纪略》《珠玑巷民族南迁记》《广州城坊志》《广东金石录》《广东乡土史》《岭南藏书家考略》《黄氏家乘续编》等。其中《广州城坊志》利用了数百种文献资料，旁征博引，巨细不遗，系统收辑广州内城、北城外、新城、西城、河南等地的人物、园林、府第、坛庙、古迹以及掌故传闻等，是一部研究古代广州城市沿革地理必读之书。在《珠玑巷民族南迁记》中，黄慈博利用族谱四十多种，反映经由南雄珠玑巷迁移到南海、番禺、顺德、新会、鹤山、香山、东莞、恩平、广宁、清远、宝安、阳江、增城县等一百四十四处一百五十四个姓氏的情况，并从前人诗文集、地方志和各姓族谱中辑录有关珠玑巷历史、北方民族南迁来由及其迁移时间等资料，加以考证，为后人了解和研究自南宋罗贵等三十七姓九十七人流徙入粤以来历代经过珠玑巷南迁移民的历史提供了丰富的史料。
近代以来，黄氏家族常以先人事迹自励互勉。1851年，黄芝七十岁生日，其侄黄熊文写诗云：“祖父高曾又及身，古稀五世祜常新。笃生远接又槐武，衍庆重祈百岁人。著述承家洵济美，诗书启后不知贫。康强逢吉推清福，杖履逍遥别有春。”黄氏一族以黄瑜祖孙为荣，以著述为本。黄绍统的《古文五选》一书，即以首选《史记》，次则西、东两汉、列朝和明朝五代之文，这是黄佐及其学生编纂《唐音类选》《明音类选》的继续。黄培芳编纂《香山县志》《浮山小志》《广三百首诗选》《唐贤三味集评钞》，黄芝撰写的《粤小记》等书，都是对黄佐的文学和史学著作的继承。人们对黄绍统、黄培芳等能继承先人思想学术，不断取得成就的言行深为赞赏。清人恽敬《香石诗钞序》说：“先世双槐、粤洲、泰泉三先生在明之中叶皆为儒立朝，居家有风范。子实（指黄培芳）持身亦甚谨，不背其先人，则又叹黄氏之多贤而子之能继其门地也。”
泰泉旧里的黄佐故居，先是传给长子黄在中及其后人居住。清雍正年间，祖屋由黄之骢、黄绍统两家捐金承受，后归黄培芳所有，从此规定只有黄佐嫡系子孙才能继承此屋。黄宅坐东向西，平排三间，从官厅进则两廊，中一天街；进则大厅、两厢房；进则又一天街，两旁花矶；进则神厅，两旁书房。进则倒朝厅，两旁卧房；进则又一天街，两旁厨房。进则卧房数间，上有大楼，亦三间，这里是黄佐藏书处——宝书楼，黄培芳题门匾曰：文武甲第。
几百年来，屡经战乱，香山黄氏在广州代有才人，以文章学术传家，里第保持，难能可贵。据说在1857年十二月，英军入城，烈焰轰霆，万室仓皇，羊城惨淡，动乱中泰泉旧里的建筑竟能安然无恙，黄氏故居独存，人们叹称其是张华福地，浩劫能超。时有刘彬华题匾额“泰泉旧里”，张维屏说“粤垣故宅，以黄香石所居为最也”。黄培芳自写门联：四百年里第，十八世书香。黄培芳在泰泉旧里建粤岳草堂，将宝书楼易名为岭海楼。粤岳草堂是黄培芳与友人读书聚会之地，有翁方纲题匾。岭海楼藏书五万多卷，书中钤“泰泉故里”、“泰泉后人”、“香石培芳”、“粤岳子”诸印。黄培芳编有《岭海楼书目》，他以自己能继承黄佐宝书楼而自豪，并写诗道：
楼接双门气郁蒸，雕瓮相望势飞腾。
云山黛色当秋见，珠海潮声入夜譍。
敢道元龙高百尺，宁同宏景卧三层。
遗编可宝承先志，祖德难忘愧后兴。
邻园拥翠满林隈，坐对晴窗尽日开。
万卷图书探架得，两朝风月阅人来。
敝庐世远仍吾属，穷巷居深任客回。
长啸鸾凰闻海国，高栖真喜隔浮埃。
至民国年间，岭海楼尚存。徐信符、徐汤殷著《广东藏书纪事诗》，说岭海楼在汉民北路158号中华书局广州分局（今北京路276号新华书店）左邻。1938年日寇入侵，10月22日晚，永汉路发生一场大火，岭海楼及黄氏故居全被焚毁，唯大司成牌坊岿然独存。大司成牌坊毁于1966年“文化大革命”动乱。徐氏《宝书楼》诗云：“百年遗迹宝书楼，明月长空一望收。六艺品流精鉴别，名山史笔足千秋。”其《岭海楼》诗则云：“泰泉余韵有诗孙，岭海楼头世德存。参透唐贤三昧诀，堂堂大雅振南园。”1953年，人民政府在泰泉旧里一带建了青年文化宫，在永汉路（今北京路）东侧开设新华书店、儿童书店和外文书店等，为青少年和广大市民提供文化娱乐场所。
