Ormestenen er allerede omtalt i et markskelbrev fra 1576. Den dannede skel mellem byerne Fastrup i Vitved sogn, Hjelmslev Herred, og Onsted i Hvilsted sogn, Hads Herred. Et sagn fortæller yderligere, at der i 1722 opstod en strid om skellet mellem Fastrup og Onsted byer. Da sandemændene ikke kunne finde skellet og løse striden, henvendte de stridende parter sig til præsten i Frue-Ring-Vitved, som tilrådede de uenige bymænd til at bede Gud om, der måtte blive sendt et tegn fra himlen. Da krøb en orm op af jorden og kravlede hen over stenen, og hvor den kravlede, fremkom den dybe fure. Furen angav herefter skellet og stenen fik sit navn.