太乙宫传说有太乙真人在此修炼过，所以得此名。太乙宫曾经有一座永载史册的宫殿。也一直是长安一个古老的名镇。
据说臣服了匈奴的汉武帝，浩浩荡荡携百官乘车撵曾经在太乙宫殿为民祈福，为国求祥。但是，宫殿经过两千多年的风霜雨雪，早已消失不见。在附近西安翻译学院内曾经敬俸太乙神的大殿已在二三十年前就墙倒屋塌，残缺不全的殿门上砖雕的'太乙宫'三个苍劲有力的大字也没了踪影，甚至连院中撑天的梧桐，一搂粗的柏树也不见了模样，但所有的当地人都知道，这曾有一座汉武帝毕恭毕敬祭祀的宫殿。
太乙宫是汉唐时期达官贵族避暑歌吟的雅境，王维就曾写道:'太乙近天都，连山到海隅。白云回望合，青霭入看无。分野中峰变，阴晴众壑殊。欲投人处宿，隔水问樵夫。'因此那儿的文化沉潜深厚。太乙宫处于大都市的远隅，市声杂音稍淡、青山绿树入眼，因此又得清静之趣。现在这座宫殿是近年来才新修的。