開創年代は不詳であるが、奈良時代（710～788）当時現在の寺域を中心に大きな集落と祈願所が設けられていたことが証明されており、およそ、その頃と推定される。然し、三、四度の火災に遭い現存する記録では、弘治二年（1456）に小庵と住職があり、元亀三年阿弥陀堂の存在も記されている。天正二年（1575）八月当時の住憎、津叟把公座元なる者、本寺龍秀院三世玉山全瑳大和尚を開山に請し、村民と協力し宇堂を再建し開基とするとある。

明治初年までは約一万五千坪と、現在の十倍の境内地を有す。徳川家康公、元亀三年境内の阿弥陀堂に身を隠し、阿弥陀如来より戦略を授かり落城を免れ一命を拾う因縁により、家康公より三つ葉葵の寺紋と御朱印を賜り徳川三百年の基となる由緒深き寺院である。

また、遠州三十三観音霊場第二十七番札所であり、禅の道場として百年以上の歴史を有し、曹洞宗認可の大道場として、全国各地より多くの求道者が訪れる。