Fu dimora principale della famiglia feudale che per secoli governò il paese, i Cantelmo. Il palazzo, che doveva essere tra i più monumentali e ricchi del paese, ha subito varie modifiche nel corso dei secoli, dovute soprattutto alle diverse funzioni (attualmente ospita il municipio) ma conserva ancora parte del suo fascino; è formato da tre corpi rettangolari uniti ad "U", con il lato aperto verso la vallata del Gizio.
Nel cortile spicca una bella fontana in pietra, decorata con motivi vegetali, fatta costruire da Fabrizio II Cantelmo nella prima metà del XVII secolo, come si legge nell'iscrizione ancora ben visibile sulla base.
La facciata principale è in parte coperta da una scalinata, alla base della quale è visibile uno stemma inciso nella pietra; sulla stessa parete è dipinta un'antica meridiana, arricchita da una cornice raffigurante i segni zodiacali ed altri elementi celesti.Il portale, ornato dallo stemma gentilizio, era originariamente sulla parete laterale e venne in seguito spostato nella collocazione attuale. Nei locali sottostanti la scalinata, ora occupati da un ristorante, si trovavano la scuderia e una cantina, della quale si conserva ancora un caratteristico torchio in legno.
