1935年12月初，丁文江受南京国民政府委托，前住湖南为刚刚建成通车的粤汉铁路调查煤矿，连续几天的野外地质考察，身体已经很疲劳了。12月8日，除爬了50多千米的山路外，还下到小煤窑矿坑中去勘察。井内通风又不好，弄得他汗流浃背，内衣内裤都湿透了。再加上一天的操劳，身体很疲乏，上到地面以后，经凉风一吹，于是感冒了。
晚上，丁文江吃了感冒药之后，住在铁路局新盖的一个宾馆里。宾馆的服务人员怕他受冻着凉，特地在他的卧室里生起火炉取暖。本想熟睡一夜，消除疲劳后第二天继续勘察，谁知这所宾馆是刚建成的房屋，墙壁内烟道堵塞，一氧化碳气释放不出去，大量聚集在卧室内。9日早晨，人们发现丁文江已煤气中毒，失去知觉，昏迷不醒了，便急忙找来医生进行抢救，但由于窒息时间太长，一时没有苏醒过来。铁路局领导又急忙从职工中找来几个身强力壮的年轻人，继续做人工呼吸，最后终于苏醒过来了，恢复呼吸了，这才从衡阳铁路医院转入长沙医院，住进湘雅医院疗养。
在医院住了3个星期，丁文江一直感到胸部疼痛，医生检查了好几次，也没有查出原因，后来经过X射线检查，才发现由于人工呼吸时用力过猛，把肋内压断了两根，并且已经化脓，引起胸膜炎了。由于搞不清楚真正病情，延误了时间，致使病情加重，再加上当时的医疗条件很差，没有抗生素一类有效的消炎药物，终于于1936年1月5日不治而死，终年49岁。
但是，衡阳铁路局和医院怕负责任，长期来竭力隐瞒事实真相，不让外界知道，因此误传为由于煤气中毒而死。曾同丁文江共事的地质学家、南京大学教授张祖为此事专门写过一篇文章，阐述丁文江之死的经过，才揭开了事实真相。
丁文江去世后，按照他的遗嘱：从简办丧事。在他的遗嘱中说道：
“于余身故时即以所故地之地方区域以内为余葬化，所占坟地不得过半亩，所殓之棺，其值不得逾银一百元，今并指令余之亲属，不得为余开吊，发讣闻、诵经，或徇其他廉费无益之习尙；遇所故地有火葬设备时，余切托贵嘱执行人务必嘱余亲属将余遗体火化。”
丁文江曾为他的一位亲戚写过一首诗，看来也是遗嘱那种思想的反映，诗曰：
男儿壮志出乡关，学业不成誓不还。
埋骨何须桑梓地，人间到处有青山。
根据丁文江的遗嘱，遗体要求安葬在去世的地方，所以当时被安葬在长沙岳麓山云麓宫下的北坡上。后因年久失修，湖南省政府于1985年拨款重新修墓。1986年4月，湖南省科协在长沙举行了纪念丁文江逝世50周年的活动。
丁文江去世后，中国地质学会为了纪念他对地质事业的贡献，发起了募集丁文江先生纪念奖金基金，共得43 765元，规定“以基金所得利息，每两年对中华国籍研究地质有特殊贡献者发给丁文江先生纪念奖金6 000元。如有余额，再捐助北京大学地质系研究处作为调查研究之用。”
丁文江先生纪念奖金从1940年开始，先后共授奖5次，历次得奖者为田奇（1940）、李四光（1942）、黄汲清（1944）、尹赞勋（1946）、杨钟健（1948）。
丁文江去世后，他的许多朋友和亲戚纷纷著文表示悼念。他的亲密好友胡适著《丁文江的传记》，比较详细地介绍丁文江的一生；他的同事们写了很多回忆他的文章，编成专辑，表述了丁文江在地质学、哲学和其他领域中的贡献。这里抄录翁文灏悼诗二首：
《追念丁在君》（1936年1月）
踪迹追随廿载前，一朝分袂最凄然。
鸡鸣共涉浑河渡，鹞势同翻云水边。
创造艰难犹昨日，殷勤讨论忆当年。
为师为友终生约，未老何图去竟先。
携斧曾经汗漫游，西南山谷最清幽。
碧鸡金马云南路，漓水藤滩黔外州。
霞客遗踪追绝域，粤湾车路达江流。
搜罗多少详图籍，整理端须仔细求。
