Sulla storia del santuario e sulla sua nascita purtroppo non esistono documenti, probabilmente perchè andati persi in seguito alle tante distruzioni che il tempio cristiano ha subito.
Sicuramente qui fu una delle tappe del viaggio apostolico di San Pietro in Italia, e ciò è suffragato da tutta una serie di testimonianze scritte da antichi autori e dalla presenza di alcune lapidi, come quella che si trova davanti alla porta centrale che ricorda come il tempio dedicato a Minerva fosse stato dedicato alla Madonna proprio dall'apostolo Pietro, nel 43 Dopo Cristo.
La chiesa sarà distrutta una prima volta durante il regno dell'imperatore Diocleziano, che aveva ordinato la demolizione di tutte le chiese cristiane dell'impero. Ricostruita ne 343, e benedetta dal papa Giulio I°, come testimonia una lapide con iscrizione in latino presente sulla porta centrale, la chiesa non passerà indenne dalle incursioni dei turchi e dei saraceni che la distruggeranno per almeno altre 5 volte. Per altrettante volte il santuario sarà ricostruito sullo stesso perimetro del precedente.
La chiesa venne ricostruita dalla potente famiglia feudale dei Del Balzo nel 1507, ma ancora un'incursione di pirati algerini, nel 1689 ne provocò un ulteriore distruzione, e la perdita definitiva sia della campana che della statua della madonna. Intorno alla metà del settecento infine la chiesa sarà dotata di alte mura fortificate a scopo difensivo.