Il promontorio dell'Argentario conta due insediamenti urbani principali: Porto Santo Stefano, a nord-ovest e Porto Ercole, a sud-est dove si concentra la quasi totalità della popolazione (circa 12.000 abitanti) e la maggior parte delle attività economiche.
Il primo centro abitato di cui si abbia notizia è Porto Ercole, identificabile col sito attuale già dal I secolo a.C., quando sotto i Romani l'abitato inizia ad esercitare una certa importanza commerciale. Nel Cinquecento, mentre Porto Santo Stefano è ancora allo stato embrionale, Porto Ercole viene dotato dai Senesi di una prima cinta muraria; successivamente saranno gli Spagnoli a fortificarlo ulteriormente con la costruzione di ben tre fortezze. Nell'Ottocento, venute meno le esigenze difensive, ha inizio l'espansione urbanistica di Porto S. Stefano, che conta un bacino più ampio di Porto Ercole e un porto con migliori opportunità di sviluppo commerciale. Col distacco della comunità dell'Argentario da quella di Orbetello, si ha una definitiva inversione di tendenza: Porto Ercole rimane un piccolo borgo di pescatori, mentre Porto S. Stefano conosce una grande espansione demografica. (2)