薬師堂は増福寺の一部とされ、すでに廃寺となっており薬師堂だけが遺されている。この増福寺は文治3年(1187)の創建で、現在地とは別の場所に創建されたと伝えられる。現在地から西方にある片又谷と呼ばれる場所に昔、温泉が湧き出て「湯の森」と呼ばれたといわれる。かつて片又谷には片又家や佐分利から移り住んだ松村家があり、現在でも石垣などの屋敷跡や小さな祠が残されている。片又谷には平安時代に奥州で一大勢力を誇った豪族・安部貞任(1062年没)の子孫・石王丸という人物が、源義家との戦いに敗れ、丹波路を山づたいに逃れ隠棲していたといわれる。松村治郎大夫家が代々伝えてきた「薬師如来縁起」には次のような記述がある。
　文治3年(1187)3月7日の夜、石王丸は夢の中でまぶしい光の中から「我は安部貞任が信心し、安倍家代々を護ってきた薬師如来瑠璃体である。南方の高い滝のうえに居るが誰も知らない。汝が直々に来てくれるのを待っている。」とのお告げを聞いた。南方の滝（現在の野鹿の滝）に三つの玉が瑠璃色の光を放っているのを見つけ、それを持ち帰り寺堂を建て増福寺と名付け、人々から温泉寺と呼ばれた。それから100年ほど後の弘安3年(1280)に寺堂、仏像は消失。そのとき温泉はたちまち冷水に変わるが、灰燼の中に瑠璃の光が輝き、増福寺の僧が三つの玉を救い上げ、加茂明神の森の近くに堂を建て新たな仏像と共に瑠璃玉を納め祀った。その堂も永禄元年(1558)に再び焼失し仏像も焼けてしまうが瑠璃玉は失われず、改めて白屋集落の奥にある現在地に薬師堂を建て祀った、と縁起にある。
　現存する薬師堂は、永禄元年(1558)に焼失後、再建、棟札の写しによって元和3年(1617)の再建であるとされている。また、現存する鰐口には寛文12年(1672)の銘が刻印されている。