Det var den svenske kongen Carl X Gustav, som besluttet å bygge en festning på øyas høyeste topp for å forsvare den mot inntrengere. Tyver, løsgjengere og falsknere ble alle sendt til Marstrand for å slepe stein som straff for sine forbrytelser. Straffene varierte fra et par år helt opp til livstid, og på vinterstid var dødeligheten på 20-30% blant fangene som satt innesperret. Likevel kunne en lese muntre annonser i Göteborg-avisene på 1920-tallet som lød: ” Reis med ferje til Marstrand og mat fangene”!

Den mest kjente fangen som har sittet på Carlstens festning, er Lasse-Maja. Han var en framgangsrik tyv, som lenge greide å holde seg unna lovens lange arm ved å kle seg ut som kvinne. Til slutt ble han imidlertid tatt, og i 1813 ble han dømt til straffearbeid på Marstrand på livstid. Takket være kokkekunnskapene Lasse-Maja hadde tilegnet seg som kvinne, fikk han lage mat i stedet for å slepe stein. Dermed overlevde han strabasene. År 1839, etter hele 26 års fangenskap, ble han benådet av kong Karl XIV Johan.

Carlstens festning har blitt angrepet to ganger, første gang av en danske, og siste gang av den norske admiralen Tordenskiold i år 1719. Begge gangene klarte svenskene å få tilbake festningen gjennom forhandlinger og fredsavtaler.

På festningen arrangeres det guidede turer med besøk til Sukkenes Gang, Lasse-Majas kjøkken, Galgebakken og Festningskirken. På sommeren avvikles spøkelsesturer og festspill i tillegg til de øvrige jubileumsmarkeringene. Festningen tar alt fra 20-1500 besøkende, og en kan overnatte der.