后来，寺庙逐渐由本地喇嘛索南曲绒、巴允大喇嘛、喇嘛朗珠、特单曲培等诸多善知识接管。在200多年前巴允大喇嘛掌管时期，由于时事动荡，寺庙搬迁到了海拔4500米的圣地智嘎的山谷中---即现在寺庙的所在地。
此时寺庙逐渐由萨迦派演变为旧密宁玛派。在这一时期，召开了大成就者尼玛扎巴的马头明王行法、观音菩萨行法、八口授教法等许多伏藏法会。
1903年，举行了坐床仪式，传承了大成就者佐钦巴的法脉，并重新修建了大雄宝殿、佛像等，迎请了佐钦寺大堪布土登宁扎光临阿色寺，为许多新出家的僧伽们受了比丘戒和沙弥戒，还实行了三毗奈耶仪轨，制定了长年举行夏令安居的计划。
1958年，巨大浩劫幾乎摧垮了整個佛教，阿色寺也沒有躲過這場災難。在南卡活佛不可思議的願力下和護法神智糌的保護下，大雄寶殿、珍貴的法器..主要第五世南卡活佛和堪布阿色曲扎的發心修復了寺院的佛像、佛塔，發展了僧團隊伍，復興了講修事業，並得到了佐欽白瑪格桑法王的支持和幫助，年輕的活佛堪布們有佐欽伍金仁增仁波切、嘉絨朗志仁波切、白玛晋美霞扎隆永多吉仁波切、顯芬尼瑪仁波切、堪布丹曲彭措、喇嘛土曲等以無畏的發心，使阿色寺的弘法利生事業再度如日中天。
現在阿色寺有修持三學的僧伽150多位，在第六世南卡活佛转扎西邓珠仁波切主持下，法台大堪布、三大活佛等諸多善知識及漢地有緣居士的護