惣善寺は、大永２年（１５２２）に良恩上人是頓によって開山されました。
当時、湯本村を支配していた若松紀伊守は、温泉宿で布教していた上人に信随し、寺を建立して寄進しました。
その寺も安永８年（１７７９）と安政年間（１８５４～１８５９）に火災にあって、本堂および庫裡を焼失していますが、その都度再建されました。
しかし、それも戊辰の役（１８６８～１８６９）で観音堂を含め全堂を焼かれてしまいました。
現在の本堂は明治１０年（１８７７）に再建されたものです。
墓地には、松平定信に支援されて日本の銅版画洋画界をおこした亜欧堂田善の高弟・東嶽田（安田田騏）の墓や、俳人であった内藤下野守政栄（内藤露沾）の高弟・沾巴の墓などがあります。
当寺では、かつて「寸陰学舎」という寺子屋を開いて庶民に読み書きや心の教育をしていたころ、遊女のための教育にも取り組んでいました。