弘法大師四国巡錫中の開基と伝えられ、大師の刻んだ本尊の大日如来（一尺八寸の秘仏）にちなみ大日寺と号し、第四番札所に定めた。

本尊の大日如来は、八十八カ所中六カ寺しかなく、真言宗では「宇宙の中心、万物の根元とされる人々にあまねく慈悲をもたらす最高の仏」とされている。

幽玄な山裾に立ち、真紅の鐘楼門がある。本堂と大師堂をつなぐ回廊に、江戸時代に寄進された木造観音像33体を安置。風情ある朱色の鐘楼門は、一階部分が角柱、二階部分が丸柱の造りになっている。