Od konce 14. století vlastnili hrad i panství Kaplíři ze Sulevic. V roce 1470 zastupoval vězněného Petra Kaplíře jeho synovec Václav Vlček z Čenova. Z této doby pochází předsunuté opevnění Hazelburk, stavební úpravy a název Vlčkovy věže. 24. dubna 1479 povýšil král Vladislav Jagellonský Vimperk na město. V roce 1494 odkázal bezdětný Petr Kaplíř panství Zdeňku Malovcovi z Chýnova, v roce 1554 koupil Vimperk s okolními vesnicemi Jáchym z Hradce, 1554 ho prodal Vilémovi z Rožmberka ten ho 1565 postoupil Petru Vokovi . V roce 1601 koupil Vimperk Volf Novohradský z Kolovrat. V roce 1630 prodala komise zadlužené panství Janu Oldřichu z Eggenberka, Po vymření rodu v roce 1719 zdědil panství rod Schwarzenberků. V 16. a začátkem 17. století byla provedena přestavba hradu na zámek, bylo vybudováno nové pohodlnější sídlo – dolní zámek s arkádami v renesančním slohu. V létech 1728 – 1734 byla provedena přestavba dolního zámku v barokním stylu. Poslední rozsáhlá přestavba zámku do nynější podoby byla provedena po roce 1857 v tomto roce po úderu blesku zámek vyhořel. 
V roce 1948 přešel zámek do vlastnictví města a v roce 1991 koupilo zámek ministerstvo životního prostředí ČR.
Současnost
V části zámku se dnes nachází muzeum s expozicemi:
- Příroda v národním parku Šumava - základní informace o národním parku, o flóře, fotografie přírodních zajímavostí, zvířata a ptáci žijící v národním parku
- Knihtisk - historie knihtisku ve Vimperku, ukázka miniaturních koránů , modlitební knížky, kalendáře, tiskařský lis, zlatící lis, aj.
- Sklářství - historie sklářství na vimpersku, ukázky hyalitu, malovaného, broušeného a řezaného skla
