灵石崇拜来自远古时代，可以说远古祖先有了石头才有了家。

远古祖先生产和狩猎的工具都来自石头，比如石斧、石刀、石镰、石锤、石砧、石球等等，这些石制品用来猎兽、采掘、种植、取火、觅食等，石器品给远古祖先带来了食物，他们的生存繁衍与石头息息相关，于是流传下来了石头具有神奇魔力的观念。

既然石头与远古祖先的生存繁衍息息相关，那么越是坚硬耐久的石头便越受青睐，泰山石的硬度为6-7，这样坚硬的石器才能长期使用，并且可以流传给部落的族人或子孙。

这种能长期流传的石头能够经受时间的侵蚀，不惧岁月的风化，历经千年不朽，因而被视为家中抵御外界侵扰的宝藏，于是灵石就成了原始的自然崇拜。

一方面泰山石从海中而来，被托举到高山之上，且年代久远，被视为吸收天地灵气和日月精华，而泰山又被视为碧霞元君成仙之地，泰山神一向被民间信奉为消灾祈福，送子升官祈运之灵验之神。

另一方面随着儒家学说“天人合一”思想的兴起，因此有“泰山安则天下安”的说法，于是泰山石被认为具有神力，可镇压鬼邪。

古人认为山川是掌管着天地规则的守护神，但山川不能移动，所以只能移动山石，于是以山石作为镇宅的守护神，而泰山石分量极重，硬度极高，其“重”和“硬”的特质非常符合镇宅辟邪的要求。受此观念影响，泰山石无疑成为了镇宅辟邪的首选风水石。

泰山石通常作为镇宅辟邪之用，代表了“稳如泰山”和“石来运转”的寓意，代表稳定、依靠、安宁、好运，而泰山巨石还有驱风防水、止煞消灾之用。