Het grote huis dat nu bekendstaat als het Audubon House werd in de jaren 1840 gebouwd door kapitein John Huling Geiger als verblijfplaats voor zijn familie, die er meer dan een eeuw woonde. Het Geiger-huis stond in 1958 op de nominatie om te worden afgebroken, maar werd gered door de Mitchell Wolfson Family Foundation, een non-profitorganisatie voor onderwijs. De grootschalige restauratie van het huis was de eerste in zijn soort in Key West en was de aanleiding voor de restauratiebeweging van Key West.

Tegenwoordig weerspiegelen het huis en de inrichting de elegantie en het comfortabele leven van een rijke familie in Key West in een tijdperk waarin de frequente schipbreuken op het rif voor de kust een bloeiende scheepswrakkenindustrie creëerden.