Das der Gemeinde Wolfhalden gehörende Pfarrhaus von Wolfhalden wurde 1749/50 erbaut. Sein heutiges Aussehen mit grossen Fenstern erhielt es im Rahmen eines Umbaus zwischen 1855 und 1860.
Nach der Aufhebung als Pfarrhaus diente das Gebäude unter anderem der Regionalbank Sparkasse Wolfhalden-Reute-Lutzenberg und später der Raiffeisenbank. Seit deren Auszug im Jahre 2016 ist in den Räumen im Erdgeschoss die Bibliothek beheimatet.