この寺の創建については不詳であるが、
源義仲(木曾義仲)の死後、愛妾であった
巴御前が墓所近くに草庵を結び、「われは名も無き女性」と称し、日々供養したことにはじまると伝えられる。寺は別名、巴寺、無名庵、木曽塚、木曽寺、また義仲寺と呼ばれたという記述が、すでに鎌倉時代後期の文書にみられるという。戦国期に荒廃したが、近江国守・佐々木氏が
1553年(天文22年)ころに再興したと伝える。当初は
石山寺の配下であったが、
江戸時代には
園城寺に属した。
俳人松尾芭蕉はこの寺と湖南のひとびとを愛し、たびたび滞在した。無名庵で句会も盛んに行われた。大坂で亡くなった芭蕉だが、遺志により義仲墓の横に葬られた。又玄の句「木曽殿と背中合わせの寒かな」が有名。その後、再び荒廃した同寺だが、京都の俳僧
蝶夢が数十年の歳月をかけて中興する。1793年には盛大に芭蕉百回忌を主催した。だが昭和期、敗戦後にまた荒廃壊滅の危機に瀕する。
1965年(昭和40年)に再興された折に園城寺・三井寺円満院より独立し、単立の寺院となった。再建資金は、篤志家の寄進による。