L'edificio era in origine la residenza dei Castaldo, amministratori della famiglia Cantelmo. Nel 1770 venne integralmente ristrutturato dal nuovo proprietario, Filippo De Stephanis, come testimonia l'iscrizione posta sulla finestra centrale.
Proprio a questo intervento settecentesco si deve il caratteristico aspetto tardo-barocco dell'edificio, con le due colonne del portale centrale che sembrano sorreggere il balcone soprastante. La facciata si presenta tripartita ed è arricchita dai particolari architettonici: i portali e le finestre sono tutti lavorati ed impreziositi da piccole finestrelle ogivali; tra le finestre del piano rialzato due nicchie abbellite da elementi vegetali dovevano originariamente contenere ulteriori elementi decorativi, purtroppo scomparsi; un grande stemma orna il portale della finestra centrale.
Tra gli elementi più caratterizzanti la struttura e pienamente rispondenti al gusto dell'epoca sono i balconi fortemente sporgenti ed arrotondati, lavorati in ferro battuto ed ingentiliti da applicazioni floreali.
Secondo una tradizione locale l'edificio sarebbe sorto sulle fondamenta di un'antica torre di difesa: la posizione, fortemente a strapiombo sulla valle del Gizio, potrebbe avvalorare tale ipotesi ma fino ad ora non ne sono state riscontrate prove certe.
