V letech 1786 - 1789 došlo k výrazné přestavbě zámku.
V Zábřehu tehdy nebyla fara, neboť zanikla za protestantismu v 17. století.
V roce 1784 byl kostel povýšen na lokální a fara nově obsazena.
Biskupství hledalo budovu pro kněze a zámek se zdál být ideálním řešením.
Bylo rozhodnuto, že bude adaptován na byt pro kněze, kontrolora a pivovar.
Přestavbu navrhl a vedl fulnecký stavitel Václav Talherr.

…kaplanství bylo zřízeno  v levém - jižním křídle v přízemí i v 1. patře. Kuchyně  a komora se sklepem měly být vystavěny od základů.. v části s pivovarem byla postavena příčná zeď v komoře sládka, schodiště v sušírně sladu a sladovně a komín. V bytě kontrolora v 1. patře byly postaveny příčky a komín. V přízemí v levém křídle byla předsíň se schody do sklepa a do 1. patra, která měla vlastní vchod z boku zámku. Z ní se šlo do čeledníku a do kuchyně a spíže. Dále byly další schody do sklepa a do patra, proti nim byla velká světnice pro hlídače. Vedle této místnosti byl vjezd do zámku.
Z něj se šlo do pravého křídla, kde byla světnice sládka s kuchyní a komorou a předsíní a pak vlastní pivovar - sušírna, sladovna a místnost na vaření piva.
V patře v levém křídle byl byt kaplana.. Druhé schody z přízemí vedly na dřevěnou pavlač, odkud se šlo do kuchyně kontrolora a čeledníku. V pravém křídle byly za sebou tři světnice kontrolora a spíž.
V závěru křídla byl pivovar - schodiště z přízemí vedlo do sladovny, poslední místnost, kde se vařilo pivo, byla otevřená až pod střechu.
Dvůr z třetí strany uzavíral přízemní ovčín…

O přestavbě zámku svědčil nápis s chronogramem na zdi, ještě v 2. polovině 19. století čitelný:
                                                                                                                              
HabItat IoneM presbIterI eremit faVste et gloriole regnans Caesar IosephVs seCVnDVs

                                                                                                                 (dává datum 1787)