Her er en beskrivelse af huset fra historien:
"UNDER hele en kedelig, mørk og lydløs dag i årets efterår, hvor skyerne hang knugende lavt på himlen, havde jeg gået alene, til hest, gennem en enestående trist trakt af landet; og i længden befandt mig, da aftenens nuancer trak på, inden for udsigten til det melankolske House of Usher, jeg ved ikke, hvordan det var - men med det første glimt af bygningen, en fornemmelse af utålelig dysterhed gennemtrængte min ånd, jeg siger uudholdelig, for følelsen var ulindret af noget af det halvt fornøjelige, fordi poetiske følelser, hvormed sindet normalt modtager selv de strengeste naturlige billeder af det øde eller forfærdelige scene foran mig - på det blotte hus og domænets enkle landskabstræk - på de dystre vægge - på det ledige øje-lignende vinduer – på nogle få ranker – og på nogle få hvide stammer af forfaldne træer – med en fuldstændig fordybelse af sjæl, som jeg ikke kan sammenligne med nogen jordisk fornemmelse mere rigtigt end med den efterdrømte efterdrøm af svælgeren på opium – det bitre forfald til hverdagen - det afskyelige fald af sløret. Der var en ished, en synken, en kvalme i hjertet - en uforløst kedsom tankegang, som ingen pirring af fantasien kunne torturere til noget af det sublime."
Poes beskrivelse af House of Usher skaber en atmosfære af frygt, forfald og undertrykkelse, der sætter scenen for historiens begivenheder.