Cape May liegt auf der äußersten Südspitze der Cape May Peninsula (Halbinsel) zwischen der Delaware Bay und dem Atlantik und ist somit die südlichste Stadt von New Jersey. Die Stadt wurde im Jahre 1620 von dem holländischen Kapitän Cornelius Jacobsen Mey gegründet und ist damit eine der ältesten Siedlungen europäischer Siedler an der Ostküste der USA. Bereits seit dem 18. Jahrhundert machte sich Cape May unter wohlhabenden Bürgern von New York und Philadelphia einen Namen als attraktive Sommerfrische. Vor allem deswegen ist man in Cape May stolz auf das offizielle Motto The Nation's Oldest Seashore Resort ("Der älteste Badeort der Nation"). Seit den Anfängen als Ferienort begannen Sommerfrischler auch, sich in Cape May eigene Häuser zu errichten, von denen viele noch heute erhalten sind.