Původně raně gotický hrad byl pravděpodobně založen Havlem z Lemberka před rokem 1280. Dalšími majiteli pak byli Půta a Jan z Turgova, Markvart z Vartenberka a Jindřich z Michalovic. Od roku 1483 patřilo panství Krajířům z Krajku, hrad byl přestavěn na pozdně gotický zámek.. V roce 1534 koupili Rohozec Vartenberkové, za Karla byl kolem roku 1600 přestavěn renesančně. V roce 1623 koupil panství jako pobělohorskou konfiskaci Albrecht z Valdštejna a dal jej v léno svému plukovníkovi Mikuláši Desfoursovi z Mont a Athienville. V roce 1634 získali Desfoursové panství dědičně.
(Hrubý Rohozec je uprostřed)
