第四十五代聖武天皇の勅願寺で、天平十九年（七四七）に行基菩薩が光明皇后の安産の念持仏として勅命により閻浮檀金の一寸八分の本尊「延命地蔵尊」を作り、伽藍を建立。

弘仁六年（八一五）、弘法大師が四国八十八カ所霊場開創時に留錫し、一刀三礼の誠を尽くした六尺に余る大像を刻んだ。延命地蔵尊をその胸に秘収安置し立江寺と号し、第十九番の霊場とした。

四国霊場一番目にあたる阿波の関所寺、邪心を抱く者はここで罰を受け、先に進めないと言われている。