La grande maison qui est maintenant connue sous le nom de Audubon House a été construite par le capitaine John Huling Geiger dans les années 1840 comme résidence pour sa famille, qui y a vécu pendant plus d'un siècle. Devant être détruit en 1958, le manoir Geiger a été sauvé par la Mitchell Wolfson Family Foundation, une organisation éducative à but non lucratif. La restauration à grande échelle de la maison a été la première du genre à Key West et a déclenché le mouvement de restauration de Key West.

Aujourd'hui, la maison et son mobilier reflètent l'élégance et le confort de vie d'une famille riche de Key West à une époque où les naufrages fréquents sur le récif au large créaient une industrie florissante de naufrage.