A grande casa que agora é conhecida como Audubon House foi construída pelo capitão John Huling Geiger na década de 1840 como residência para sua família, que viveu lá por mais de um século. Previsto para destruição em 1958, a mansão Geiger foi salva pela Mitchell Wolfson Family Foundation, uma organização educacional sem fins lucrativos. A restauração em grande escala da casa foi a primeira do tipo em Key West e deu início ao movimento de restauração de Key West.

Hoje, a casa e seus móveis refletem a elegância e a vida confortável desfrutada por uma família rica em Key West em uma época em que naufrágios frequentes no recife offshore criavam uma florescente indústria de demolição de navios.