Costruito fra il 1242 e il 1250 sui resti di un preesistente edificio militare normanno per volere di Federico II di Svevia che necessitava di una residenza di caccia e di soggiorno estivo, Castel Lagopesole gode di una posizione suggestiva dall'alto del colle che domina la valle di Vitalba.
L'alternarsi di stili testimonia le varie fasi costruttive succedutesi nel corso dei secoli nel maniero, fra le quali la realizzazione dell'acquedotto, delle scuderie e del laghetto antistante ad opera degli Angioini. Carlo I d'Angiò lo utilizzò come prigione di lusso e nell'Ottocento fu occupato dai briganti capeggiati da Carmine Crocco.
Il complesso presenta una pianta rettangolare con 4 torri agli angoli e all'esterno è chiuso da un poderoso muro a bugnato. L'ingresso, un grande portale con arco a sesto acuto modanato, si trova sul versante occidentale ed è articolato in due avancorpi simmetrici, uno residenziale e l'altro militare.
La parte più antica è quella meridionale in cui si trova il Cortile Piccolo, al cui centro si erge il poderoso Mastio quadrato, il donjon, leggermente fuori asse rispetto al complesso, che ha al suo interno una propria cisterna.
Due mensole con protomi umane che si dice raffigurino i volti dell'imperatore e della seconda moglie Beatrice, sormontano il grande portale in pietra calcarea.
Il Cortile Grande è invece nella parte settentrionale e si estende con funzione residenziale su tre lati per due piani di altezza. Al centro c'è il pozzo per la raccolta d'acqua piovana nella sottostante Cisterna, e da qui si accede, attraverso un portale opera di Mele da Stigliano decorato con "denti a sega" di tipico stile angioino, alla Cappella ad un'unica navata che presenta un'abside semi circolare con tracce di affreschi del XIII secolo.
Al Primo piano si trovano il Salone dell'Imperatore e quello della Regina con pregevoli e raffinate sculture nei capitelli delle mensole realizzate in parte da Mele da Stigliano con la collaborazione di Melchiorre da Montalbano. Nulla resta invece a confermare la leggenda che narra la presenza nel Castello di terribili trabocchetti utilizzati da Federico Barbarossa per celare la sua deformità ed eliminare gli eventuali importuni.
Castel Lagopesole, scelto come set per la fiction "Il generale dei briganti" di Paolo Poeti, ospita dal 2011 oltre all'Antiquarium, esposizione permanente che documenta gli scavi medievali del sito, il Museo Narrante "Il Mondo di Fedrico II", un percorso multimediale con mostre, giochi interattivi e filmati realizzati da grandi attori fra i quali Remo Girone, che illustrano la storia del mitico imperatore e, durante il periodo estivo, lo spettacolo multimediale dedicato alla sua vita.
