Hans son Erik XIV satt fängslad här, så gjorde också den kända tjuven Lasse Maja. En våldsam brand 1736 förstörde stora delar av slottet, men det restaurerades några år senare. På 1920-talet genomfördes en restaurering av Erik Hahr, vår mest kända stadsarkitekt.