Preko gotovo cijele sjeverne strane Place, glavnog trga u Savičenti, proteže se kameni kaštel Grimani. Najsačuvaniji kaštel na poluotoku i najveća svetvinčentska građevina već je stoljećima simbol mjesta i odredište vojnika, gostiju vlastele, putopisaca i trgovaca, a danas znatiželjnih prolaznika i turista.

Prva tvrđava biva sagrađena još početkom 13 stoljeća, no burne godine ratovanja su za posljedice imale često uništavanje pa zatim obnavljanje i promjenu izgleda kaštela. No, osim izgleda, mijenjali su se i vlasnici posjeda. Nakon biskupa, obitelji Castropola i obitelji Morosini, vlasnici kaštela postaju Grimani di San Luca, patricijska venecijanska obitelj.

Sadašnji oblik građevina dobiva 1589. godine kad Marino Grimani obnavlja spaljeni kaštel po nacrtu venecijanskih arhitekata Scamozzija i Campagne. Kaštel je danas jedna od ponajljepših mletačkih gradnji tog vremena u Istri i jedna od najvažnijih utvrda mletačke vojske. Na tri ugla nalaze se tri kule, a na četvrtom palača sa sobama za gospodu i stanom kapetana. S tih su se kula kontrolirala sva četiri ulaza u grad. Kule su povezane bedemima koji izvana pri dnu imaju i potporni zid, a iznutra po cijeloj dužini balkon s kojeg su stražari motrili kroz otvore puškarnica.

Na vratima je, osim pokretnog mosta. postojala i velika rešetka za spuštanje. Iznad ulaza smješten je grb kaštela, sadašnji grb Svetvinčenta, te grb obitelji Grimani di San Luca. U unutrašnjsoti su se, osim širokog dvorišta, nalazili stan upravitelja mjesta, skladište za javna davanja i municiju, oružarnica, prostorije za 200 mušketira i kopljanika i vrlo siguran zatvor - pod zemljom.

U 19. stoljeću obitelj Grimani prepušta kaštel biskupima, a oni općini početkom ovog stoljeća. Krajem Drugog svjetskog rata kaštel još jednom biva spaljen.