Majestátnou
a pôvabnou dominantou centra mesta je historická budova kaštieľa, ktorý bol
postavený na mieste stredovekého vodného hradu. Jeho história je pevne spätá s
pôvodne neapolským šľachtickým rodom Drugetovcov, ktorý prišiel na územie
Slovenska s kráľom Karolom Róbertom z Anjou. Ten za verné služby daroval
Filipovi Drugetovi v roku 1317 tunajšie panstvo. Prvá zmienka o kaštieli ako o
kúrií je z roku 1449. Nové stavebné obdobie nastáva po roku 1619, keď mestečko a
jeho blízke okolie dobyl Gabriel Bethlen. Na mieste starého hradu dali
Drugetovci, konkrétne Gabriel Druget, v tom čase nový uhorský palatín, postaviť
veľký reprezentačný kaštieľ. Po smrti posledného mužského potomka Drugetovcov
Žigmunda II v roku 1684, prechádza kaštieľ a ostané majetky Drugetovcov na jeho
dcéry, a teda do rúk Zichyovcov, Wandernátovcov, Csákyovcov a neskôr Andrássyovcov.
V priebehu 18. - 20. storočia bol viackrát upravovaný, najmä rodinou
Andrássyovcov, ktorí kaštieľ prestavali podľa podoby fr ancúzskych barokových
zámkov. Po druhej svetovej vojne v roku 1946 zhorela strecha na kaštieli a
stavba bola poškodená. Rekonštrukčné práce začali v roku 1964 a trvali až
do roku 1972.
Dnes je sídlom Vihorlatského múzea a jeho návštevníci si
môžu prezrieť v jeho priestoroch umelecko-historickú expozíciu dobových
interiérov, ktorá predstavuje bývanie šľachty od renesancie po začiatok
20. storočia, prírodovednú expozíciu, príležitostné výstavy poriadané
v priestoroch galérie. Pre návštevníkom koncertov vážnej hudby je
k dispozícii koncertná sieň.
V súčasnosti prebieha (od r. 2015) rekonštrukcia
strechy, obnova fasády a oprava nádvoria kaštieľa.