忌とは斎と同義語で、特に清浄にして神霊を奉斎する忌みであると言い、現在の社殿は明治十年（1877）の造営で、昭和五十六年（1981）に改修したものと言われています。
この社の夏祭として毎年8月7日から1週間続く「数方庭祭」は、1,800年の歴史を持つ“天下の奇祭”として有名であり，市の文化財に指定されています。
境内には数多くの文化財を所蔵する宝物館や，蚕が初めて日本に渡来した地としての記念碑等があります。