1876 fand die Weltausstellung (Centennial Exposition) zur Erinnerung der 100-Jahr-Feier der USA in Philadelphia statt. Diese Ausstellung führte zur Idee der Museumsgründung im gleichen Jahr. Vorbild für das Museum war das Victoria and Albert Museum in London, welches ebenfalls aus einer Weltausstellung (1851) hervorgegangen war. Bereits am 10. Mai 1877 öffnete das Museum erstmals seine Türen. Der heutige Museumsbau wurde ab 1919 im antiken Baustil als Dreiflügelanlage begonnen und in Teilbereichen 1928 fertiggestellt. Derzeit werden zusätzliche unterirdische Galerieräume geplant.

Hier setzte der englische Quäker William Penn, Gründer der Stadt Philadelphia, erstmals seinen Fuß auf amerikanischen Boden. Dieser Bereich des alten Hafens ist zu einem Uferpark umgestaltet worden und heute ein beliebtes Naherholungsziel.