Der Schauplatz der Geschichte ist das titelgebende Haus, der Hauptsitz der einstmals geachteten und einflußreichen Pyncheon-Familie in Neuengland. Seine Erbauung beruht jedoch auf einer dunklen Vergangenheit: Colonel Pyncheon, hatte vor 160 Jahren das Grundstück, auf dem es später errichtet wurde, auf höchst unrechte Weise seinem eigentlichen Besitzer, Matthew Maule, entrissen, indem er jenen der Hexerei beschuldigte und hinrichten ließ. Colonel Pyncheon verstarb jedoch während der Einweihungsfeier des Hauses ganz unerwartet (ob durch Krankheit oder den Fluch, den Maule kurz vor seiner Hinrichtung gegen Pyncheon aussprach, wird hier nicht näher erläutert). Seitdem schwelt ein stiller Hass zwischen den beiden Familien; das Haus zerfiel mit der Zeit, und sowohl die Pyncheons als auch die Maules gingen sehr harten Zeiten entgegen. Das titelgebende Haus bezieht sich auf ein tatsächlich existierendes Haus in Salem, Massachusetts, das 1668 erbaut wurde und das von Hawthornes Cousine Susannah Ingersoll bewohnt wurde. Hawthorne, der oft zu Besuch kam, ließ sich durch die Geschichte des Hauses zu seinem Roman inspirieren.