Das Pastorat in Breitenberg steht auf einer kleinen Anhöhe – wohl Rest einer alten Düne- in etwa 50 m Entfernung zur barocken Kirche. Restaurierungsarbeiten, bei welcher Teile des Fach
werkes erneuert, das Reetdach überarbeitet und Fenster und Türen unter Berücksichtigung von Gesichtspunkten des Denkmalschutzes instandgesetzt wurden, fanden im Rahmen der Dorferneuerung Breitenberg statt und wurden staatlich bezuschusst.
Bei diesen Arbeiten wurden bemalte Holztafeln auf dem Dachboden gefunden, die der Abteilung von Fächern für Erntevorräte dienten. 
Gegenwärtig haben über den Ursprung dieser Kunstwerke noch keine Untersuchungen stattgefunden. Naheliegend ist, dass es sich um Reste des Gestühls des 1754 durch Blitzschlag zerstörten Kirchbaues handelt. Da das Pastoratsgebäude – eventuell im Zusammenhang mit dem ab 1764 erfolgten Neubau der benachbarten Kirche – auf der Westseite seitlich in der Flucht des Giebels durch zwei Anbauten erweitert wurde, könnten die Tafel zu dieser Zeit auf den Dachboden eingebracht worden sein.
Bei dem Kernbau des Pastorates handelt es sich um ein langgestrecktes, reetgedecktes Fachwerkhaus in West-Ost-Richtung, vermutlich ein kombiniertes Wohn- und Wirtschaftsgebäude. Von diesem ersten Gebäude sind vier Gebinde, also drei Fach, erhalten und in spätere bauliche Veränderungen einbezogen worden. Der rückwärtige Teil des Kernbaus ist ab dem fünften Gebinde mit der Errichtung eines langgestreckten Neubaus am Ende des 19.Jahrhunderts abgebrochen worden.
Der eicherne Dachstuhl des Ursprungsbaus ist eine einfache Kehlbalkenkonstruktion aus krumm gewachsenen Hölzern in relativ gutem Zustand, bestehend aus einem außen verbrettertem Giebelgebinde im Westen und drei weiteren, nach Osten folgenden Gebinden. Untere Kehlbalken gibt es keine, lediglich den üblichen Hahnenbalken ähnliche, sehr hoch sitzende Querbalken, was vermuten lässt, dass der Dachboden als Lager für Erntegut u.ä. genutzt wurde. Der Anschluss Kehlbalken-Sparren erfolgt mittels seitlicher Schwalbenschwanzanblattung, was bereits auf den ersten Blick auf ein relativ hohes Alter der Konstruktion schließen lässt.
Vielleicht im Zusammenhang mit dem ab 1764 erfolgten Neubau der Breitenberger Kirche (siehe oben) wurde das Gebäude auf der Westseite seitlich in der Flucht des Giebels mit zwei Anbauten erweitert. Im Süden besteht der Anbau aus vier Fachen, also fünf Gebinden. Zwei Gebinde sind im Zusammenhang mit einem Umbau oder einer Erneuerung ausgetauscht worden. Im Norden entstand ein Anbau aus drei Fachen.
Der Zeitpunkt einer Erneuerung des Erdgeschossbereiches ist nicht bekannt. Dabei wurden die beiden seitlichen Erweiterungen mit großzügiger und regelmäßiger Befensterung ausgerüstet. Im Westgiebel des Hauptbaues entstand ein großzügiger Eingang, dessen klassizistische Rahmung auf eine Entstehungszeit um 1810/20 hinweist. Dies könnte auch ein Hinweis auf die gesamte Umbauphase sein. Von der ursprünglichen Befensterung des Kernbaus im Erdgeschoß und der beiden seitlichen Erweiterungen ist nichts mehr vorhanden.
Während der Restaurierung des Kernbaues in den Jahren 2000 bis 2001 wurden im Dachstuhl Holzproben für eine dendrochronologische Datierung entnommen. Die Datierung des Kerndachstuhls brachte einige Überraschungen. Die Hölzer für die Sparren und die Deckenbalken über dem Erdgeschoß stammten aus drei verschiedenen norddeutschen Waldgebieten aus ganz unterschiedlichen Zeiten. Wahrscheinlich ist die Mischung von Hölzern speziell für den Bau zusammengekauft worden. Obwohl es keine nachweisbaren Flößspuren gibt, liegt es nahe, dass die Hölzer über die benachbarte Stör auf dem Wasserwege angeliefert wurden.
Die ältesten Hölzer wurden im Winter 1512/13 eingeschlagen und im nördlichen Sparren im dritten und vierten Gebinde verbaut. Das Holz der nördlichen Sparren des zweiten Gebindes und der südliche Sparren des dritten Gebindes sowie der Deckenbalken unter Gebinde zwei wurden im Sommer 1559 geschlagen. Das Holz für den Deckenbalken im dritten Gebinde wurde im Winter 1598/99 geschlagen. Als jüngstes feststellbares Datum 1599 ergibt sich – da weitere Bauteile zur Untersuchung nicht vorhanden sind – hier in Übereinstimmung mit der altertümlich wirkenden Verblattung der Kehlbalken vielleicht das Datum der Erbauung des Pastorates. Da in anderen Quellen das Jahr 1598 als Beginn der pfarramtlichen Betreuung der Gemeinde genannt wird, deckt sich die dendrochronologische Untersuchung mit anderen Hinweisen.
Die Restaurierung um die Jahrtausendwende gestaltete sich aufwendiger als ursprünglich gedacht, da die Schäden größer als von außen erkennbar waren. Dabei musste der Dachstuhl aufwendig abgefangen werden, damit ein frostsicheres Streifenfundament eingebracht werden konnte. Bis dahin ruhte der Bau auf einem Fundament mit eingebrachten Schottersteinen direkt auf dem Sandhügel. Besondere Schäden erhielt der Bau in der Nachkriegszeit, als für die zahlreich eingewiesenen Flüchtlingsfamilien ohne Rücksicht auf die Bausubstanz Türen in die Außenmauern eingebrochen wurden, die später mit vorhandenen Backsteinen provisorisch wieder zugemauert wurden.
Wegen der um ca. 22 % überschrittenen Restaurierungskosten konnten die Arbeiten nicht beendet werden. Nach Bewilligung weiterer Mittel des Landes, des Kirchenkreises Münsterdorf und der finanziellen Anstrengung der Kirchengemeinde sollen die Arbeiten im Jahr 2007 abgeschlossen werden.
