Più che di un vero e proprio castello si tratta di un palazzo baronale che è stato, per il borgo, l’emblema di una storia sofferta. Sorto intorno all’XI secolo come rocca difensiva contro le scorrerie dei saraceni, si è trasformato ben presto nel simbolo di un’oppressione feudale che si è protratta per secoli.
Dal 2001, con la collocazione nei suoi ambienti del Museo della Civiltà Contadina, è diventato patrimonio comune e testimone della cultura collettiva, degli usi e costumi della Val d’Aniene.
In origine aveva tre torri e un imponente mastio quadrangolare, oggi, oltre a quest’ultimo, ne resta solo una. Un portale gotico, sormontato dallo stemma dei principi Massimo, introduce a una grande corte dove si osservano: uno scalone e loggione laterale, opera dei Colonna, un pozzo di marmo dei Colonna Barberini di Sciarra, una elegante bifora prelevata dal suo castello di Arsoli da Camillo Massimo, il quale, con un restauro realizzato nel tardo Ottocento, fece anche aggiungere i merli al mastio. A Ovest c’è un giardino pensile. Dei paesaggi affrescati, che decoravano alcune sale al piano superiore, rimangono tracce sbiadite, mentre nell’ex Cappella al piano terra si trova, pressoché intatto, il bel ciclo cinquecentesco di Giuditta e Oloferne. Tra i simboli araldici, inseriti sopra alcune porte e sul pozzo, ricorre spesso quello dei Colonna, casata che ne ha avuto più a lungo il possesso. Un governo, iniziato alla fine del Duecento, decisamente infelice per la popolazione che, sottoposta a ogni sorta di angherie, si vide ridurre i diritti di pascolo, di raccolta spontanea e di successione ereditaria. Nel 1625, sommersi dai debiti, i Colonna vendettero il feudo a Carlo Barberini, fratello di Urbano VIII, ma per i rovianesi il destino di sopraffazione rimase lo stesso. Solo nell’Ottocento, con il venir meno dei privilegi feudali, la situazione iniziò lentamente a cambiare; tuttavia Camillo Massimo, che acquisì il Palazzo di Roviano nel 1872, intentò causa al Comune per far inserire nella sua proprietà anche Porta Scaramuccia. Nel 1902 fu acquistato dai Brancaccio e dal 1979 è di proprietà comunale.