Zámek je nejstarší památkou ve Škvorci. Bývalý hrad se poprvé připomíná na konci 13. století. V dalším století byla stavba rozšířena na čtyřkřídlý hrad s palácem, kaplí a branou a kolem roku 1545 přestavěna na reprezentativní renesanční zámek. Během devadesátých let dvacátého století objekt výrazně zchátral a počátkem tohoto století byl již v kritickém stavu.