Già nel VII secolo Rovigno era custodita da mura di cinta, rafforzate in seguito da torri. La città aveva sette porte, tre delle quali si sono conservate fino ai giorni nostri: la porta di San Benedetto, la porta Sottomuro e la porta di Santa Croce. Nel punto in cui sorgeva la porta esterna della città, nel XVII secolo, è stato eretto l'arco barocco dei Balbi, oggi entrata della cittavecchia.