Ursprünglich diente das, am Anfang der Appenzellerstrasse gelegene, Gebäude als Tuchfabrik, Stoffdruckerei und Färberei. Der Betrieb wurde von Angehörigen der Familie Zoller geführt. Ab 1772 residierten im stattlichen Haus die Landvögte, die im Auftrag der damaligen Eidgenossenschaft das Rheintal zu verwalten hatten. Diese Epoche endete mit der 1798 ausgestellten Befreiungsurkunde und der fünf Jahre später erfolgten Gründung der Kantons St.Gallen.

Namengebende Familie Custer

Bereits im Jahr 1800 ging das Haus an Kaufmann Johann Heinrich Custer über, der dem Gebäude zum heutigen Aussehen und zu dessen Bezeichnung «Custerhof» verhalf. Einer seiner Enkel schenkte die Liegenschaft 1895 dem Kanton St.Gallen, der im Haus eine landwirtschaftliche Schule einrichtete. Später erfolgte der Wandel zur Bäuerinnenschule, die bis 2006 existierte.

Heute dient der Custerhof als Schulungszentrum für Gesundheits-, Sozial- und Hauswirtschaftsberufe. Nach wie vor ist der Kanton St.Gallen Eigentümer, der für die, noch im alten Jahr abgeschlossene, Erneuerung rund 800'000 Franken investierte.