Si trova sulla sommità del promontorio che domina a nord il paese di Porto Azzurro.
Si raggiunge facilmente dal paese, salendo dalle ripide e tortuose vie del centro storico. L'area centrale interna del forte non è visitabile, salvo rarissime occasioni, perché occupato dal carcere.
E' possibile per ammirare la cerchia di mura esterne, anche usufruendo di un bel percorso pedonale che ne costeggia un'ampia parte. Da esso si possono godere begli scorci sul sottostante paese e sulla costa orientale della penisola di Calamita.
Il forte ha la forma di un pentagono irregolare, con tre lati che danno sul mare, sopra una ripida scogliera. Essi sono semplici fronti tanagliati a scarpa.
Il lato nordovest, quello di terra, era il più protetto: oltre a un fossato scavato nella viva roccia, era guardato da lunette, cavalieri e opere a corona. In questo versante infatti si resero necessari contrafforti esterni, bassi e non armati, ma in grado di dare del filo da torcere a un attacco nemico. Il perimetro interno misura 1700 metri, quello esterno 2500, occupando una superficie di 3000 metri quadrati.
La lunghezza massima tocca i 650 metri, mentre i lati della piazza interna sono in media 350 metri. La fortezza poteva accogliere duemila soldati.
L'armamento era ingente, composto da molti pezzi d'artiglieria di vari calibri. Non sappiamo di preciso con quanti cannoni era armata la piazza, ma il granduca di Toscana Pietro Leopoldo ne contò nel 1769 ben 180. Gli edifici interni non erano pochi. Le costruzioni più vistose erano due: la palazzina del governatore e quella degli ufficiali, che oltre agli alloggi custodiva magazzini e un granaio.
Le caserme dei soldati erano dieci, riunite in due gruppi, più uno di baracche in legno. Tra gli altri edifici vi erano: due prigioni, un ospedale, due officine per le armi, due mulini, tre polveriere, un forno per il pane e sette corpi di guardia. La piazza darmi era al centro e non mancavano una chiesa intitolata a san Giacomo il maggiore e una cappella. Le cisterne erano undici, ma di modesta capacità.
Il problema dell'acqua non doveva essere di poco conto, soprattutto destate, e anche le due sorgenti poco fuori dalle mura (di Barbarossa e Pinell) sopperivano scarsamente alla richiesta.
La fondazione della piazzaforte inizia la mattina dell'8 maggio 1603, quando una flotta spagnola sbarcò uomini e mezzi nella baia di Mola. A dirigere le operazioni il viceré di Napoli Giovanni Alfonso Pimentel de Herrera, conte di Benevento (in suo onore il forte ha assunto anche i nomi di Pimentel e Beneventano). I lavori furono affidati a don Garcia de Toledo, che per opinione diffusa si ispirò alla cittadella d'Anversa. L'opera fu praticamente conclusa in tre anni (anche se lavori di riadeguamento la interesseranno fino almeno al Settecento) e costò 300mila scudi, cifra non molto alta per l'epoca.
La ragione per cui fu edificata va ricercata nell'intenzione iberica di controbilanciare il peso strategico di Portoferraio (dell'inviso granducato di Toscana), che rappresentava una spina nel fianco nei traffici dell'alto Tirreno. La nuova piazza sarà protagonista nella storia isolana per due secoli.
Longone fu subito vista come una minaccia soprattutto dalla Francia. Nel 1646 il cardinale Mazzarino spedì una flotta per espugnare il forte. Nonostante una fiera resistenza la guarnigione fu costretta alla resa, e la vittoria fu salutata in Francia con soddisfazione.
Gli spagnoli non persero tempo nel riorganizzarsi. Nel 1650 don Giovanni d'Austria, figlio di Filippo IV, ripagò i francesi della stessa moneta. Anche in questo caso l'assedio fu durissimo ma dispendioso per i transalpini, che dopo aver perso la metà degli uomini dovettero arrendersi.
Nel 1708 la fortezza si trovò a fare da teatro di battaglia nella guerra di successione spagnola. Questa volta la guarnigione dovette vedersela con l'alleanza che parteggiava per l'imperatore. Grazie all'intervento di appoggi francesi, questa volta alleati degli iberici, l'assedio fu spezzato con gravi perdite nemiche.
Nel 1722 si registra un tentativo di insurrezione nella piazza. Quattrocento soldati, capeggiati da un ufficiale austriaco, intenzionato forse a vendicare lo smacco imperiale di qualche anno prima, pianificarono l'assassinio del comandante del forte Alaun. Il progetto fu per scoperto, i capi arrestati e portati davanti la corte marziale, e infine giustiziati.
Nel 1759 vi fu la separazione formale tra il regno di Napoli e Madrid. I presidi spagnoli in Toscana, compreso quindi Longone, furono assegnati al nuovo stato borbonico. In questo periodo i lavori di potenziamento al forte erano in continua evoluzione. Essi sono testimoniati dal granduca di Toscana Pietro Leopoldo, qui in visita nel 1769. Egli conta 1200 uomini, divisi in tre battaglioni, 180 cannoni, e rileva: La truppa è mal tenuta e molto sudicia, molti uffiziali i quali sono mal alloggiati, e tutto vi è caro. Un'altra testimonianza sulle cattive condizioni nella fortezza è raccontata dal viaggiatore inglese Richard Coalt Hoare: un soldato scappato da Longone a Portoferraio si autoaccusò di un delitto commesso in territorio toscano, preferendo le galere lorenesi alla vita militare borbonica.
Nel 1799 le truppe napoleoniche occuparono l'Elba. Longone, nonostante il clima esplosivo che serpeggiava nella sua guarnigione, si pose in armi, invitando gli elbani a resistere all'occupazione. L'alleanza tra soldati napoletani e insorti isolani, a parte qualche grave leggerezza, si dimostrò vincente: non solo fu rotto l'assedio di Longone, ma i francesi furono costretti ad asserragliarsi a Portoferraio, dove qualche settimana dopo dovettero alzare bandiera bianca.
Dopo la pace di Luneville per in forza di alcuni trattati l'isola pass alla Francia. La guarnigione di Longone dovette quindi passare le consegne agli ex nemici. Il 10 gennaio 1805 un incendio nell'armeria di San Filippo provocò un impressionante esplosione all'interno del forte, con tre morti, molti feriti tra soldati e civili e gravissimi danni agli edifici. L8 aprile 1810 fu scoperto un altro tentativo insurrezionale: pare che i soldati tedeschi della guarnigione avessero progettato di far esplodere una polveriera per consegnare il forte agli inglesi; i congiurati furono tutti passati per le armi. Ancor peggio la situazione degenerò nel 1814, quando l'aquila napoleonica chiudeva le ali: un gruppo di insorti arrivò ad aggredire il comandante del forte Gottman e il suo stato maggiore.
Con l'arrivo di Napoleone all'isola i nervi si distesero. Il corso visitò il forte e vi fece ristrutturare alcune stanze per farne la sua terza residenza ufficiale all'Elba. Per quanto non al livello delle altre due la definiva pomposamente il palazzo. Vi soggiornò anche 19 giorni, dal 5 al 24 settembre.
Con l'Ottocento, quando l'Elba pass interamente al granducato di Toscana, si concluse l'importanza militare del forte: le nuove tecnologie belliche e una concezione moderna della difesa resero obsolete queste strutture. Nel 1842 il presidio di Longone era così ridotto a 31 soldati (un corpo dei cannonieri guardacoste, poi confluito nel battaglione guardacoste insulari), un cappellano e un chirurgo.
Nel 1856 fu istituita una compagnia di correzione per militari indisciplinati, e due anni dopo la fortezza si preparava ad accoglierla. In pratica si stavano gettando le basi per convertire l'opera militare in un carcere. In realtà gi nel periodo napoletano qui vi venivano deportati galeotti, ma allora la funzione di bagno penale non rivestiva ancora una rilevanza. Sarà per con il nuovo regno d'Italia che Longone diverrà un penitenziario civile a tutti gli effetti. La proposta part proprio dai longonesi, che in quegli anni vivevano una crisi economica devastante: la nuova istituzione rappresentava per loro una risorsa occupazionale. Così all'Ergastolo vecchio fu affiancato un altro edificio, l'Ergastolo nuovo, con 296 celle, e agli inizi del Novecento nacque una terza costruzione e i servizi staccati.
Subito Longone si fece una nomea sinistra: il solo nominarlo evocava la triste condizione di vita dei reclusi e luogo dove finivano i reietti della società . Ancor di più questa fama si acuì sotto il fascismo, quando nel carcere affluirono non pochi detenuti politici, qui reclusi per essere considerato uno dei luoghi di prigionia più famigerati d'Italia. E anche per scrollarsi di dosso la suddetta fama che nel 1947 i longonesi chiesero di cambiare il nome del loro paese in un più pacifico Porto Azzurro. Nel dopoguerra la punta massima di reclusi si è toccata tra il 1950 e il 1953, con ben 1100. In seguito il numero si è andato riducendo progressivamente, e le condizioni di vita sono via via migliorate.
All'interno del forte si trova una delle chiese più belle dell'isola, purtroppo non visitabile per via del carcere se non in particolari ricorrenze. Si tratta della chiesa di San Giacomo il maggiore. Grazie a essa la piazza è anche conosciuta come forte San Giacomo, oltre che forte di Longone o forte Beneventano.
La struttura ha subito diversi interventi: costruita al termine dei lavori alla fortezza e finita nel 1656, fu poco dopo demolita e nel 1720 riedificata. In stile barocco catalano, con un altare maestoso, conservava un tempo opere di pregevole fattura. Per esempio un busto d'argento di santa Barbara, di autore ignoto e del XVII secolo, oggi conservata alla chiesa del Carmine; e un quadro a olio sempre di santa Barbara.
Il viaggiatore francese Valerie raccontava di avervi visto anche un Cristo morto in cartapesta di manifattura spagnola, che riteneva essere l'opera d'arte più rimarchevole di tutta l'Elba, attualmente andata persa. Vi sono testimonianze anche di preziosi arazzi e pianete di cui oggi non rimangono più tracce.
Suggestiva è la definizione che le affibbia Vincenzo Paoli: fastosa come un hidalgo e pomposa come una chiesa del Settecento.