Pri vstupe do mesta stojí vyše 390 ročný kaštieľ.
Renesančno-barokový kaštieľ dal postaviť ostrihomský arcibiskup kardinál Peter Pazmáň v roku 1631. Vďaka tomuto kaštieľu sa mesto stalo administratívne a kultúrne centrum, čo tiež prispelo aj obchodu.
Po vzniku banskobystrickej diecézy sa kaštieľ stal jej sídlom.
Pápež Pius VI. rozdelil 13.3.1776 ostrihomskú arcidiecézu na tri nové biskupstvá. Kaštieľ prešiel vtedy do majetku Banskobystrickej diecézy a stal sa sídlom nového banskobystrického biskupa Františka Berchtoldta, ktorý sem svoju rezidenciu presťahoval z Banskej Bystrice. Odvtedy až do roku 1941 kaštieľ vo Svätom Kríži (dnešný Žiar nad Hronom) slúžil ako rezidencia banskobystrických biskupov.
V roku 1950 sa kaštieľ stal majetkom štátu.
Po zrušení rezidencie banskobystrických biskupov v roku 1941 získali kaštieľ Saleziáni. V tom čase tu mala sídlo Vysoká škola bohoslovecká. Počas bojov SNP tu sídlil štáb 1. Štefánikovej partizánskej brigády, po obsadení mesta Nemcami tu bolo veliteľstvo nemeckých jednotiek. Koncom vojny bola budova poškodená bojovou činnosťou. Po vojne kaštieľ prešiel opravou exteriéru a aj interiéru. V roku 1950 prešiel kaštieľ pod správu štátu. V rokoch 1960 – 1967 tu bolo sídlo Okresného národného výboru. Po presťahovaní výboru kaštieľ začal slúžiť pre potreby školstva. Od roku 1967 sa tu učili študenti Strednej odbornej školy ekonomiky a služieb, neskôr premenovaná na Strednú ekonomickú školu. Od roku 1991 je škola premenovaná na Obchodnú akadémiu. Následne od roku 2005 už je to Súkromná obchodná akadémia. Od roku 2018 je kaštieľ vo vlastníctve mesta Žiar nad Hronom. Mesto postupne kaštieľ rekonštruuje, aby sa z neho stalo reprezentačné, kultúrne a spoločenské centrum.
