Le fort Saint-Pierre fut construit en 1743-1746 par l'ingénieur Niquet, disciple de Vauban. A l'origine c'était un fort contre les Anglais, puis ce fut une casene sous l'ancien régime, une prison pour les Arabes lors de la conquête de l'Algérie, dont Abd-el-Kader le 24 avril 1848, pour enfin devenir un hôpital pour les troupes d'Afrique victimes de maladies infectieuses en 1914. 

C'est Claude François qui lui a donné ses premières lettres de noblesse musicales en s'y produisant dans les années 1970.  L'amphithéâtre compte actuellement 1485 places. Des études sont actuellement en cours pour le porter à plus de 2000 places.

"Il y a d'autres théâtres de le mer ou de verdure. Ils sont parfois très beaux mais celui-ci est différent", affirme Didier Lockwood (violoniste de jazz français) "Je n'en ai jamais vu un comme celui-ci. Il est unique, comme ça, au-dessus des flots."