山号は「栢谷山（かやたにさん）」。白雉二年（飛鳥時代：651年）に天竺（インド）から渡来した法道仙人が開創し、平安中期に恵心僧都源信が中興したと伝わる真言宗の古刹です。
江戸時代には１院13坊を持ち、寺領25石１斗を所有し、一帯は西林寺村と呼ばれていました。
江戸時代初期（1665年）に播磨西国三十三箇所第20番霊場に選ばれています。
「花の寺」として親しまれる西林寺では、春の桜、初夏のあじさい、晩秋の紅葉、そして一年を通して様々な花が咲きます。中でも、三月下旬に咲く唐子ツバキは、県の天然記念物に指定されています。
本堂
江戸時代・文化年間に建立された本堂には、江戸時代の絵師・藤田石崖が描いた天井絵があり、四臂（手）を持つ秘仏本尊の十一面観音菩薩立像は、藤原時代中期（十一世紀頃）の作とみられ、県の文化財に指定されており、御開帳は60年に1度です。脇侍は不動明王と毘沙門天です。
仁王門と安置されている四像（仏像）
仁王門は、嘉永六年（1853）再建の重厚な八脚門で、前に金剛力士像、後に持国天（じこくてん）、 多聞天（たもんてん・毘沙門天）が配置されています。
この仏像は、仁王門の再建に合わせて弘化三年（1846）に絵師・石庵によって四像が彩色修理されたと思われ、平成30年〜令和4年（2018〜2022）には、およそ170年ぶりの大修繕がなされました。
唐子ツバキ
境内にある「西脇聖天」。ここに「唐子ツバキ」があります。このツバキは樹齢200年以上とされる近在随一の古木で、兵庫県指定文化財（天然記念物）に指定されています。
その他
羅漢像や虚子、青畝の句碑が境内に点在し、キリシタン地蔵など見どころが多くあります。
年中行事
１月 年始行事、聖天堂初勤行
２月 節分 星供祈祷
３月 春彼岸参り
４月 桜まつり
５月 花まつり
７月 戎まつり
８月 棚経、施餓鬼法会
12月 除夜の鐘
