V období vládnutia Ľudovíta I. Veľkého z Anjou (1342–1382) a Žigmunda Luxemburského (1387–1437) bol hrad obľúbeným sídlom týchto monarchov.
Kráľ Žigmund tu podpísal dve listiny týkajúce sa Zvolenskej župy, kde sa spomína aj Zvolenská Slatina.
Hrad bol významnou pevnosťou spolu so Zvolenom pri obrane stredoslovenských banských miest pred Turkami a chránil vstup do Zvolena od východu.
Hrad viac krát vyhorel, najprv za Tökölyho povstania (asi roku 1683), pri ďalšom stavovskom – Rákocyiho povstaní sa dostal na niekoľko rokov do rúk povstalcov.
Takmer osudným mu bol posledné vypálenie počas II.svetovej vojny, keď ho vypálili Nemci po ťažkej delostreleckej paľbe ruskej a rumunskej armády.
Hrad sa podarilo zachrániť až v súčastnosti, keď na ňom prebehla kompletná rekonštrukcia.