依据梁上题迹及碑文记载，金天得三年(1151年)重建，元、明、清均有修葺。现存五岳殿、水仙殿为元代建筑，余皆清代所建。
庙坐北朝南，四合院布局，总占地面积7200平方米。
五岳殿为庙内主体建筑，单檐悬山顶，面阔进深各三间。由于平柱外移使明间扩大，次间缩小。明间置板门，次间置直棂窗。前檐斗栱五铺作单抄单下昂。梁架为彻上露明造，皆用草袱作法，为原木稍加修饰而成。梁上有：“时大元大德拾年岁次丙午十月巳亥二十二日己未庚午时重建志”题迹。
水仙殿位于五岳殿东侧，面阔三间，进深三间，单檐悬山顶。斗栱五铺作单抄单下昂，明间补间出45度斜昂。梁架亦为彻上露明造，草袱。殿内须弥座砖雕，保存基本完好，束腰部雕历史故事、花草人物、窗格图案等，刀法传神。梁枋题记：“大元大德四岁次庚子三月壬申朔初十曰辛巳甲午时创建”。
两殿内均保存有精美的壁画，五岳殿壁画分绘于殿内三面墙和门额、栱眼壁等，计40平方米。水仙殿壁画内容反映水仙出行、回归图。
2006年5月，汾阳五岳庙作为元至清时期的古建筑，被国务院批准列入第六批全国重点文物保护单位名单。
