Il complesso si è sviluppato a partire dal 1528 per iniziativa della Confraternita dei Battuti del Santissimo Crocifisso, che venerava l’antico “crocifisso snodabile” in nicchia sopra l’armadio, alla parete di fondo. L’Oratorio fu costruito nella seconda metà del ‘500, mentre il soffitto fu tappezzato di ‘telerì tra il 1596 e il 1602 con dipinti di Palma il Giovane, Pietro Damini e Andrea Vicentino. Nel 1703-1707 fu costruita l’attuale chiesa, a croce greca, in luogo di quella cinquecentesca, ormai fatiscente..