大師四十二歳の厄難を除くために、薬師如来の本像を刻んで堂宇を建立。金剛不壊の護摩壇を八畳岩に築き、十七日間の御修法を行ない、境内の堂塔の前に五色の藤を手植えしたとの由来から、金剛山藤井寺の寺号となる。

本尊は平安時代の銘が入り、年号が入るものとしては四国霊場最古の仏像で重要文化財。本堂天井に三十畳程の大きさで描かれた雲龍は、林雲渓の作で龍の鋭い眼光は迫力満点だ。

大師お手植えと伝わる藤棚の見頃は４月下旬から５月上旬頃。