La grande casa che ora è conosciuta come Audubon House fu costruita dal capitano John Huling Geiger negli anni '40 dell'Ottocento come residenza per la sua famiglia, che visse lì per più di un secolo. Destinata alla distruzione nel 1958, la villa Geiger fu salvata dalla Mitchell Wolfson Family Foundation, un'organizzazione educativa senza scopo di lucro. Il restauro su larga scala della casa è stato il primo del suo genere a Key West e ha innescato il movimento di restauro di Key West.

Oggi, la casa e i suoi arredi riflettono l'eleganza e la vita confortevole di cui godeva una famiglia benestante a Key West in un'epoca in cui i frequenti naufragi sulla barriera corallina al largo creavano una fiorente industria dei relitti di navi.