弘仁年間（810～824年）に弘法大師が訪れた際、難産に苦しむ女性を救うため、子安大日如来を刻み安置したのが始まりとされています。豊臣秀吉も大坂城築城の際に鬼門除けの寺として参拝したと伝わります。