Si trova su uno scalino in parte naturale, in parte artificiale, a 50 metri sul livello del mare, di fronte a Portoferraio. Il panorama sulla città è stupendo. Si raggiunge facilmente, essendo lungo la provinciale tra Portoferraio e Porto Azzurro, a circa quattro chilometri dalla prima.
L'edificio si presentava con forme compatte, "a blocco", come sono state definite, che lo facevano svettare sul promontorio. La struttura, che si estendeva complessivamente su una superficie di due ettari, era ripartita su due livelli. Su quello alto – il pianoro – c'erano la parte residenziale di circa 78X78 metri, con un avancorpo rettilineo che si affaccia sul mare; e un grande giardino di 112X46 metri, sul lato est, verso i fianchi della collina. Il piano inferiore era costituito da una doppia struttura di terrazzamento, più basso di circa 5 metri e largo circa 15, che circondava la villa sui tre lati panoramici, tranne quello orientale, che è addossato ai fianchi della collina, e buona parte di quello settentrionale. Per lungo tratto, non continuo, il muro perimetrale nord, che si affaccia sulla costa, era intervallato da esedre semicircolari, sia per il contenimento del terreno che come probabile prospetto scenografico nei lati più visibili dal mare della villa.
Sui lati opposti, che si affacciano sulla piana di San Giovanni, il terrazzo inferiore era per buona parte occupato da ambienti coperti. Quelli più addossati al muro di contenimento interno erano quasi tutti completamente chiusi, poiché avevano l'unico scopo di sostenere le strutture residenziali superiori, in quanto le volte di sostruzione raggiungono il livello del pianoro.
La tecnica edilizia è quella classica di epoca augustea in opus reticulatum, di grande effetto cromatico, i cui cubilia verde scuro sono stati ricavati da rocce ofiolitiche estratte dallo stesso sito, e quelli grigio chiaro dai calcari della costa nord circostante. Il tetto era a travi lignee, coperto da tegole smarginate di un rosso vivo, anch'esse di bell'impatto cromatico anche a lunga distanza. Al sottotetto era applicato un controsoffitto in canne rivestite in intonaco e sorrette da una leggera intelaiatura. Gli angoli tra pareti e soffitto erano decorati con cornici modanate in stucco. Le pareti erano coperte da intonaci dipinti con impressioni prospettiche varie, di cui rimangono frammenti. La maggioranza di questi tuttavia mostra intonaci monocromi. Dove si vedono motivi più vari non è possibile riconoscere molto per l'estrema frammentarietà dei reperti, però si riconosce una buona fattura pittorica. In alcuni, dove si intuiscono disegni floreali, è possibile immaginare che figurassero un hortus conclusus. Erano inoltre applicate crustae marmoree, in palombino e cipollino.
La pavimentazione era in opus sectile. Sono state portate alla luce piastrelle di ardesia, palombino e cipollino di diverse forme. Le loro suggestive tricromie geometriche esaltavano soprattutto le stanze di maggior prestigio. Esse formavano molto probabilmente molteplici schemi pavimentali, ma piuttosto classici dell'epoca augustea, come le maglie a nido d'ape, a losanghe, a spina di pesce. Alcuni pavimenti presentavano anche decorazioni a mosaico. Gli scavi hanno portato alla luce due mosaici pavimentali ancora leggibili. Non erano gli unici, poiché furono scoperti altri frammenti.
Al centro dell'area residenziale si trovava il classico giardino, piuttosto ampio, circondato dal peristilio di colonne in laterizio rivestite di stucco. Esso era fregiato da un coronamento di lastre Campana, con Psiche tra racemi e suonatori, di cui oggi ne rimane solo una perfettamente conservata. Gran parte del giardino era occupato dalla piscina, orientata nordovest-sudest. Sul lato meridionale essa terminava in un'esedra semicircolare. Per tutta la lunghezza della vasca, al centro di essa, corre un condotto in muratura che sbocca nella terrazza sottostante, sul lato mare. Infatti qui si trovava un giardino e, nel muro perimetrale, dove si interrompono le volte verticali, si apriva un ninfeo.
Della parte residenziale sappiamo poco. Gli ambienti sottostanti più esterni, nella seconda fase di vita della villa, furono invece adibiti a locali di servizio, raccordati da un corridoio e raggiungibili tramite una scala che dall'angolo sud-est del piano superiore scendeva a quelli più orientali. Soprattutto alcuni vani divennero un quartiere termale. Esso era costituito di quattro stanze, tipiche di questi ambienti: il calidarium (la sala riscaldata), i probabili apodyterium e tepidarium (ambienti di passaggio graduale dal caldo al freddo, e forse come spogliatoi), e il frigidarium (la sala non riscaldata, nel cui angolo sud-ovest si trovava probabilmente una vasca per i bagni freddi). Lungo il muro esterno la presenza di finestre ha fatto ipotizzare che nella prima fase della domus in questo versante, il più solatio, vi fosse il già citato criptoportico o una passeggiata invernale.
Sul lato occidentale si trovava forse l'ingresso principale della villa. Qui sono state scoperte due ampie scale su volte zoppe che confluivano perpendicolarmente a una rampa che immetteva nella zona residenziale. La struttura era dunque altamente scenografica, sia dal punto di vista panoramico che per l'accesso alla villa.
Nel pianoro orientale, oggi adibito ad accesso dell'area archeologica, si trovava un grande giardino. Lungo tutto il lato sud corrono due muri, che potrebbero essere un'ambulatio coperta per passeggiate estive nella frescura o in caso di pioggia. Nella parte più a monte dell'area si trova la cisterna, separata dall'attuale strada provinciale, e oggi purtroppo abbandonata alla macchia e all'incuria. Essa raccoglieva l'acqua di una fonte del monte Orello. Una seconda cisterna, probabilmente di servizio al quartiere termale, riconoscibile per il rivestimento in cocciopesto altamente impermeabile, si trovava in tre ambienti chiusi, raccordati tra loro, sotto la suddetta scenografica rampa di scale. Un lucernario quadrato permetteva le periodiche operazioni di pulitura e manutenzione degli ambienti.
La fondazione dell'edificio è attestabile nell'ultimo quarto del I secolo a. C. L'ultimo scorcio del I secolo a. C. e gli inizi del successivo costituiscono la prima fase di vita della villa. Nella prima metà del I secolo d. C. è operata una ristrutturazione, che avvia la seconda fase riferibile alla tarda età augustea e tiberiana. è con essa che verranno aperti molti vani di sostruzione per ricavarci ambienti di servizio, tra cui un quartiere termale. Essi vengono raccordati da nuovi corridoi, e verranno aperte due scale di collegamento con gli ambienti residenziali superiori. A questa fase corrisponde molto probabilmente anche un abbellimento del peristilio centrale, con l'applicazione di lastre Campana con motivi a rilievo. Anche in questa fase la tecnica costruttiva utilizzata è l'opus reticulatum, con l'aggiunta di piccole strutture in opus testaceum. A giudicare dai bolli su mattoni e tegole, parte dei materiali di questa ricostruzione giunsero direttamente dalla capitale.
L'edificio viene probabilmente abbandonato alla fine del I secolo d. C., poiché nessun reperto trovato si spinge oltre questo periodo. Una nuova fase interessa la villa tra la fine del IV secolo e gli inizi del VI: comunità monastiche riadattarono alcuni ambienti per farne i loro modesti abituri, rifuggendo gli agi delle città. In seguito la villa subirà un abbandono completo e un lento declino, che ne sgretolerà irrimediabilmente le forme. è stato attestato che il crollo dei muri sia riferibile ai secoli X-XI.
Nel 1728 la testimonianza di Sarri ci assicura che tra le vestigia della domus si potevano ancora vedere statue, colonne, arredi marmorei e resti di cornicioni. La struttura quindi, sebbene in abbandono, era ancora sufficientemente leggibile. Sarà però nei due secoli successivi che l'incuria del tempo e quella umana peserà in misura maggiore rispetto al passato sul disfacimento della villa. Nel 1799 e nel 1801 il sito archeologico si trovò nella sfera dei fatti di guerra che insanguinarono l'Elba durante le due occupazioni francesi. In entrambi i casi Portoferraio fu posta sotto assedio: la punta delle Grotte, per la sua favorevole posizione, risultò un ottimo punto per piazzarci batterie e martellare efficacemente la città con le artiglierie. Ciò però cagionò danni gravissimi alle strutture romane. Infatti per creare il maggior spazio di manovra possibile e una visuale di tiro migliore gli assedianti rasero al suolo tutte le muraglie che occupavano il pianoro.
Nel 1901 fu riconosciuta come sito di ruderi d'importanza regionale per la regia soprintendenza, e iscritta nell'elenco degli edifizi monumentali. è il 18 luglio 1960 il giorno in cui si avviò la ricerca per svelare i segreti del sito. A capo di essa era Giorgio Monaco, nominato due anni prima direttore dei beni archeologici dell'isola. La campagna si concluse nel settembre dell'anno successivo, ma altri saggi furono effettuati nel 1967, 1971 e l'ultimo nel 1972. Attualmente l'intera area, che è proprietà della fondazione Agnelli, è stata recintata e risistemata in percorso guidato di visita con tabelle esplicative. Vi si trova anche un bookshop e centro visita. è stato così regolarizzato e ordinato un luogo di grande suggestione turistica, tanto da assurgere a sito archeologico probabilmente più visitato dell'isola.
Per molto tempo le leggende che aleggiavano sulla villa, ne facevano travisare le sue reali funzioni.
Alcune fonti antiquarie sette-ottocentesche giudicavano i suoi resti come quelli addirittura di una città, di cui ci tramandano anche il nome: Albizach. Essa sarebbe stata fondata da due amanti, fuggiti all'Elba per vivere il loro contrastato amore. Un suggestivo mito, ma soprattutto una fine disperata, che ci ricorda Coresi del Bruno, autore di uno Zibaldone di memorie storiche elbane, alla metà del Settecento: [Ad Albizach] goderno un tempo li sviscerati amanti felici i loro amori, fino a che per qualche suo interesse fu costretto Zach passare in Corsica, dove ritrovata et osservata una dama molto bella se ne invaghì e tentò nuovi amori con essa, il che risaputosi da Alba ne andò in traccia per farlo nuovamente ritornare all'Elba, ma Zach temendo di qualche insidia si diede per fuggitivo nei boschi di Corsica, tanto che priva di ogni speranza Alba di rivedere il consorte, si ritirò all'Elba et un giorno dando in eccessiva disperazione, dal più alto dirupo della città di Albizach, ove si chiamano le Grotte, si precipitò nel Mare, come anche in oggi ritiene il nome di Precipizi della Regina Alba.