A grande casa que hoje é conhecida como Audubon House foi construída pelo capitão John Huling Geiger na década de 1840 como residência de sua família, que viveu lá por mais de um século. Previsto para destruição em 1958, a mansão Geiger foi salva pela Mitchell Wolfson Family Foundation, uma organização educacional sem fins lucrativos. A restauração em grande escala da casa foi a primeira desse tipo em Key West e desencadeou o movimento de restauração de Key West.

Hoje, a casa e seus móveis refletem a elegância e a vida confortável desfrutadas por uma família rica em Key West em uma época em que naufrágios frequentes no recife offshore criaram uma próspera indústria de demolição de navios.