Kaštieľ pochádza zo začiatku 18. storočia a postavili ho na základoch staršieho renesančného kaštieľa. Dal ho postaviť Štefan Andrássy ako poschodový, ešte opevnený kaštieľ so štyrmi nárožnými vežami.
I ďalšie prestavby sa viažu znovu k rodine Andrássyovcov, ktorá bola už vtedy jeho trvalým vlastníkom a ktorá mala v majetku nielen hrad Krásnu Hôrku, ale aj majetky a bane v okolí Rožňavy. Po staršej klasicistickej prestavbe a rozšírení južnej časti a priečelia nasledovala rozsiahlejšia pseudoslohová úprava s nadstavbou druhého poschodia, ktorá dala kaštieľu ráz francúzskej poľovníckej stavby. Kaštieľ zaplnili Andrássyovci množstvom vzácneho nábytku, umeleckých diel a zbierok.
Okrem veľkej a zachovanej pôvodnej knižnice prevahu zbierok tvoria maliarske diela, najmä obrazy realistov 19. storočia. Druhú časť zbierok tvoria dovezené exotické predmety a poľovnícke trofeje, ktoré nemajú rovnocennú hodnotu s umeleckými zbierkami.
Park spestrujú jazierka a vzácne exotické stromy a zvyšky prastarého tisového lesa.
