Okazały dom, obecnie znany jako Dom Audubon, został zbudowany przez kapitana Johna Hulinga Geigera w latach czterdziestych XIX wieku jako rezydencja dla jego rodziny, która mieszkała tam przez ponad sto lat. Skazana na zniszczenie w 1958 roku rezydencja Geigerów została uratowana przez Fundację Rodziny Mitchella Wolfsona, organizację edukacyjną non-profit. Renowacja domu na dużą skalę była pierwszą tego rodzaju w Key West i zapoczątkowała ruch restauratorski w Key West.

Dziś dom i jego wyposażenie odzwierciedlają elegancję i wygodne życie zamożnej rodziny w Key West w czasach, gdy częste wraki statków na przybrzeżnej rafie stworzyły kwitnący przemysł złomowania statków.