Portoferraio Hauptsehenswürdigkeit ist die Villa dei Mulini im Nordosten der Stadt, die durch die Zusammenfügung zweier bestehender Gebäude – eines davon eine Windmühle – entstanden ist und von Napoleon als Winterresidenz genutzt wurde. In der Villa ist teils originales Mobilar zu sehen, darunter Arbeitszimmer und Bibliothek mit mehr als 1100 Bänden, die Napoleon aus Fontainebleau kommen ließ. Vom kleinen italienischen Garten hinter der Villa genießt man einen schönen Ausblick auf die Küste.
