齐云山的道教，起源于唐，南宋宝庆年间（ 1225—1227 ），道士余道元入山修炼，并于齐云岩创建佑圣真武祠，供奉真武大帝，这是玄天太素宫的前身。明代齐云山道教活动日益兴盛，嘉靖十一年(公元1532年),，第四十八代天师张彦頨到齐云山“建醮祈嗣”(代帝求子),果得灵验,于是齐云山得到皇帝的青睐,钦赐建立“玄天太素宫”。自此以后,齐云山道教大兴,名噪东南，并逐渐形成了齐云山道教文化系谱。

      玄天太素宫占地1600平方米，是齐云山最大的宫观及宗教活动场所，也是宗教活动的中心，绝大部分法事道场及重大活动都在玄天太素宫举行。

      1984年，玄天太素宫遗址对外开放；1986年，齐云山管理处协助齐云山道协，对已成废墟的太素宫遗址进行了清理，扶正了残存的铁香炉和神像台。1987年9月，道教协会募得财帛，在第三进殿旧址上，从简建起一所庙堂，并聘请浙江省名工匠塑一玄帝坐像，正位入座，以满足朝山香客膜拜的愿望；1994年道协获得香港谭兆慈善基金会和休宁各界捐助的善款、省宗教局财政拨款，开始玄天太素宫一期工程（第三进殿）修复，于1997年竣工，并于1997年9月9日举行神像开光典礼；2012年齐云山管理委员会牵头开始齐云山玄天太素宫修复工程，修复一二进殿、左右配殿。2014年竣工完成，交付齐云山道协开放使用。

      自创建和谐寺观教堂活动开展以来，玄天太素宫于2010年荣获首届全国创建和谐寺观教堂先进集体荣誉称号；2014年、2016年先后被安徽省委统战部、省宗教局授予“和谐宫观”称号；2017年荣获第三届全国创建和谐寺观教堂先进集体荣誉称号；2017年被国家宗教事务局授于“和谐宫观称号”。

      目前，玄天太素宫有值殿的道职人员15人，其中经过备案的10人，学徒5人，接受有关部门的指导与监督，开展正常守法的宗教活动，如道场科仪等。