La gran casa que ahora se conoce como Audubon House fue construida por el capitán John Huling Geiger en la década de 1840 como residencia para su familia, que vivió allí durante más de un siglo. Programada para su destrucción en 1958, la mansión Geiger fue salvada por la Fundación de la Familia Mitchell Wolfson, una organización educativa sin fines de lucro. La restauración a gran escala de la casa fue la primera de su tipo en Key West y provocó el movimiento de restauración de Key West.

Hoy en día, la casa y sus muebles reflejan la elegancia y el estilo de vida cómodo que disfrutaba una familia adinerada de Cayo Hueso en una era en la que los frecuentes naufragios en el arrecife costa afuera crearon una floreciente industria de demolición de barcos.