La crisi e la definitiva caduta dell'impero romano si fece sentire pesantemente anche sull'Elba. Le informazioni sull'unico centro urbano di nostra conoscenza, Fabricia, dimostrano che dalla metà del II secolo esso imboccava un inarrestabile declino sia economico che demografico. Ogni attività produttiva sull'isola collassò, con ovvie conseguenze sulla sua società. Solo le comunità monastiche sembravano indifferenti a questo stato di cose.
Intanto agguerrite genti del nord ponevano a ferro e fuoco la Penisola. Non sappiamo quanto pagò l'Elba a queste violenze. Forse la sua insularità la mise al riparo da alcune orde, ma difficilmente ne rimase immune del tutto. A conferma che, se non in tutta almeno in luoghi impervi di essa, vigeva una certa calma rispetto al continente, rimane la bella storia di san Cerbone. Fuggito dall'Africa, approdò a Populonia dove ben presto ne divenne il vescovo. Dovette per fare i conti con i crudeli longobardi, il cui furore aveva distrutto la città. Per scampare alla morte si rifugi sulle pendici settentrionali del monte Capanne, in quella località che oggi prende il suo nome e dove vi è stato consacrato un romitorio1. Qui vi morì, intorno al 570, e fu riportato a Populonia per una degna sepoltura.
In questo periodo l'Elba doveva essere bizantina, a differenza del continente toscano già sotto il ferro longobardo: infatti il geografo Giorgio di Cipro pone le isole tirreniche sotto il governo dei bizantini, almeno fino al 610. A questi anni forse si riferisce l'impianto originario della chiesa di San Menna (oggi San Bennato) a Cavo, i cui ruderi si vedevano ancora nel XIX secolo.
Nel VII secolo l'isola pass ai longobardi. Ma i nuovi dominatori erano diversi dagli avi che erano calati in Italia secoli prima: la svolta di Teodolinda e l'editto di Rotari avevano mitigato i loro costumi, favorendo un governo più illuminato. Nel secolo e più di loro amministrazione è probabile che la società elbana tornasse a respirare, con un reincremento demografico e lo sviluppo di nuovi centri. Non rimangono testimonianze dirette dei longobardi sull'isola, ma le loro tracce sono impresse in molti toponimi, come la località Gualdo (dal germanico wald) vicino a Capoliveri.
Nel 755 lo scontro tra Pipino il Breve e i longobardi portò alla fine della dominazione di questi. Il re franco don l'Elba e le altre isole dell'arcipelago al Papato; donazione in seguito confermata dal figlio Carlo Magno.
Nel frattempo i pericoli maggiori arrivarono dal mare: le coste furono teatro di devastanti incursioni da parte dei pirati saraceni, che si spinsero a colpire anche centri vitali del Mediterraneo. E' opinione di molti che le baie riparate e sicure delle isole toscane divennero per alcuni periodi basi per molti predoni. Iniziò così una durissima partita che vide attacchi e contrattacchi tra le flotte in campo. Nel Tirreno si distinsero due città per efficacia nella lotta alla pirateria: Pisa e Genova. Entrambe ricopriranno un ruolo fondamentale nella storia dell'Elba. Ma soprattutto la città toscana unir il suo destino all'isola.
Nella partita a scacchi tirrenica una buona mossa fu quella pisana, nell'874, quando fu teso un agguato a una flotta musulmana al largo dell'arcipelago toscano, riportando una sonante vittoria. Per questo e per altre ardite incursioni la città di san Ranieri si catturò le simpatie della Chiesa: la repubblica marinara si guadagnò il ruolo di gendarme sull'arcipelago, cosa che in pratica mise l'Elba e le sue sorelle sotto la sua sfera d'influenza. Non esiste una data sicura da cui far risalire il dominio pisano sulle nostre isole, segno che fu una presa di possesso per gradi. Ma già il fatto che si ponga al 909 la costruzione della torre sull'isolotto della Palmaiola, significa che nel X secolo l'arcipelago era sostanzialmente pisano.
All'inizio del nuovo millennio il terrore per gli elbani giunse da al-Mugehid, detto dagli italiani Mughetto o Musetto. Per poco meno di mezzo secolo minacci l'isola e le coste tirreniche, arrivando a distruggere il fiorente porto di Luni e far tremare persino Pisa stessa. Solo nel 1034, dopo una caccia continua tra alti e bassi, i toscani riuscirono a stanarlo nella sua roccaforte di Bona, in Nord Africa, e giustiziarlo all'età di 84 anni.
In questa guerra senza esclusione di colpi, i pisani cercarono di porre l'Elba in difesa con opere militari dislocate su tutto il territorio2. La prima fu la torre di San Giovanni, intorno al Mille. Seguirono il Volterraio e Luceri. Il primo fu forse inizialmente una semplice torre, costruita sulle fondamenta di un castrum antico. Forse l'elevazione a castello avvenne nel 1296, quando da Pisa fu mandato l'ingegnere Vanni di Gherardo Rau a fare dei lavori. Il forte di Luceri, il cui nome è per più di matrice erudita che reale, fu edificato (o riedificato, come vogliono alcuni) per vigilare sulla rada di Portoferraio. Di esso rimane solo la base delle mura perimetrali. A essi va aggiunta anche la fortezza di Marciana.
Se parliamo di edifici per il segno più marcato del passaggio pisano all'Elba rimane con le chiese3. In stile romanico, molto semplici e massicce nella costruzione per fronteggiare anche gli assalti pirati, sono state edificate nei secoli XI-XII. Oggi purtroppo molte sono abbandonate alla macchia: solo due sono ancora aperte al culto (Santo Stefano alle Trane e SS. Pietro e Paolo a San Piero). Si dividevano in plebanie (avevano cioè l'esclusiva battesimale) e suffraganee. Le prime erano solo quattro sull'isola. Numerose erano le chiese a esse sottoposte.
Sotto il dominio pisano la società elbana visse un bel momento, forse non del tutto improntato sulla sicurezza, ma certo di ripresa economica. Le miniere di ferro furono riattivate dopo quasi un millennio di paralisi e con esse ripartì anche la metallurgia: tracce di centri di fusione medievali sono numerose ovunque, segno di una ripresa tumultuosa dell'attività. Molti documenti attestano l'afflusso di fabbri sull'isola fin dall'XI secolo, cosa che dovette dare una bella spinta demografica ai paesi. Riprese anche l'escavazione del granito 4, e molti importanti monumenti di Pisa furono adornati con la pietra elbana.
Per la prima volta, grazie ai documenti dell'epoca, abbiamo un'esatta valutazione sui borghi isolani. Un breve consolare del 1162 indica otto centri: Capoliveri, Grassera (non più esistente), Rio, Marciana, Giove (l'attuale Poggio), Ferraia (l'attuale Portoferraio), Pomonte, Campo (non più esistente). In seguito assumeranno importanza anche i paesi di Latrani (non più esistente), Montemarsale (non più esistente neanche nell'attuale toponomastica), San Piero e Sant'Ilario. Dal 1259 almeno l'Elba era capitana (una sorta di provincia) a s. Sede del capitano (che rappresentava un tramite tra il potere centrale e le comunità locali) era Capoliveri, anche se in seguito sull'isola nacque una seconda capitana per l'accresciuta importanza dei paesi minerari di Rio e Grassera.
Per buona parte del XII secolo i guai maggiori per Pisa arrivarono da Genova, con continui assalti all'arcipelago, a volte contrastati validamente dagli elbani stessi. Ma nel complesso la repubblica toscana ebbe sempre sotto controllo la situazione. Dalla fine del secolo riuscì anche ad assicurarsi un lungo periodo di stabilità, grazie a un'abile diplomazia. Ma tutto si incrinò alla metà del XIII secolo, nel quadro dello scontro tra impero e chiesa. Pisa si schierò col primo, e Genova, manco a dirlo, con la seconda. Il conflitto culminò il 6 agosto 1284, al largo di un'insignificante scoglio di fronte a Livorno, la Meloria. Nella battaglia navale i pisani rimediarono una sconfitta di tale portata, tanto da segnare il loro declino.
Lo smacco fece mutare il vento: con due incursioni in forze, nel 1290 e nel 1292, i genovesi posero in assedio l'Elba e la conquistarono in entrambe le occasioni. E se in tutti e due i casi dovettero mollare l'osso dopo poco, si dovette allo sforzo bellico ed economico che la già affranta città di san Ranieri profuse a grande prezzo. Non poteva essere altrimenti, dato che per i pisani perdere l'isola significava perdere il suo motore economico decisivo: il ferro.
Il XIV secolo si aprì così sotto i peggiori auspici, con una repubblica ormai in stato comatoso, lacerata in fazioni interne e con il prestigio sui mari pressoché stracciato. Anche l'Elba risentì della crisi, ma i suoi abitanti non fecero venir meno la fedeltà ai sovrani. A tutto ciò si aggiunse la devastante peste del 1348, che colpì l'isola con particolare durezza, forse perché molti dei suoi paesi si affacciavano su piane paludose e mefitiche. La popolazione fu decimata per due terzi, passando da 6000 a 2000 abitanti.
La morte nera fu la mazzata più grossa a una società povera e in alcuni casi affamata. Il governo centrale non si catturò certo le simpatie del popolo, applicando una politica fiscale opprimente, che infatti scatenò alcune ribellioni. E altrettanto intelligente non fu la mossa di mandare all'Elba gli sbanditi (confinati), le cui bande terrorizzarono campagne e paesi. Occorre per dire che in molti casi Pisa cercò per quanto poteva di alleviare le sofferenze dei sudditi d'oltremare.
L'unico momento di conforto per gli elbani nel secondo scorcio di secolo fu la sosta del pontefice Gregorio XI, nel 1376, durante il viaggio in cui la sede papale fu riportata a Roma, dopo la cattività avignonese. Colta da tempesta al largo dell'isola, la flotta pontificia riparò nel golfo di Mola. Accolto dai festanti isolani, Gregorio volle celebrare una messa nella vicina chiesa di San Michele, a Capoliveri, prima di ripartire.