寺以白马为名，不能不说说“白马驮经”的传说。相传东汉时，汉明帝刘庄夜间梦见一个金人，顶上有白光，在殿廷间飞行。第二天明帝将此梦告诉朝臣，问他们是吉是凶。大臣傅毅说，梦见的是佛。于是汉明帝派遣郎中蔡和、博士弟子秦景等出使天竺，摹写浮屠的遗像。蔡和等后来和天竺高僧迦叶摩腾和竺法兰回到洛阳，又带回佛经四十二章和释迦牟尼的立像，明帝令画工绘制佛的图像，安放在清凉台和显节陵上，经藏在兰台石室。因为是用白马把佛经驮回洛阳的，明帝因此在洛阳城雍关之西，建了一座白马寺，从此有了这座名震华夏的寺院。
因为白马寺的名气太大了，许多地方修建寺院寺，自然会想到佛教传入中土的渊源。北魏时，司马懿封长平候来到今天山西晋城市区北侧五公里的一个海拔1010米的山顶上，为了拍司马懿的马屁，将此山命名为司马山。后来，当地人在山顶上建寺，起名字时自然想到离晋城仅120公里的洛阳的白马寺，便将寺院命名为白马禅寺。再后来，老百姓认佛不认官，索性连山名也改了，更名为白马寺山。
白马禅寺创建年代不详，至少应该在千年以上。金代诗人李俊民游白马寺山诗曰“千年古庙映崇岗