清凉山村因寺因山而得名。据安阳县金石录记载：北魏太和十八年（公元494年）北魏孝文帝“爰诏立寺，以此谷四面山势状类城埤，因此给额名天城寺，山为天城山。”东魏兴和三年（公元541年）大将军尚书令高澄又改为“城山寺”。北齐天保元年（公元550年）八月，文宣帝高洋见寺前两水合流又改为“合水寺”封方十里，禁人樵采射猎，派武士官兵守卫营造。
由于当时皇帝给寺的封地太多，寺内虽有五百僧人，还是种不完封地内的田地，只得租赁给游民散户耕种，由于户口的不断增加，在寺东依山傍水的地方逐步行成了村落，当时村名叫“合水村”。
隋开皇三年十月，隋文帝为纪念创寺僧张猛“薰修致定”改寺名为“修定寺”香花供给一同齐日。封张猛为“观世音菩萨”。
据《永乐大典》卷13824引《相台志》修定寺条云：清凉山初名合水山，金代改为清凉山。同时《合水村》改为《清凉村》，清朝改为清凉山村，村名沿用至今。
1957年归许家沟公社管辖；1977年三月归磊口公社管辖，1983年磊口公社改为磊口乡后管辖至今。
《清凉》与佛教的释义。
清凉世界就是一个既远离尘世烦恼，又超脱世俗享乐的佛禅境界，在此无忧也无喜，一派清虚飘渺如同夏日清晨的山岚透着沁人心脾的清凉气息。