Dokładna data wzniesienia zamku w Pilicy nie jest znana. W XIV w. Pilica była własnością rodu Toporczyków, którzy byli właścicielami zamku w pobliskim Smoleniu. W 1610 r. Władysław Pilecki opuszcza Smoleń i buduje w Pilicy rezydencję obronną. Od tego momentu zamek często zmienia właścicieli, aż do momentu, kiedy po II wojnie światowej w murach pałacu utworzono dom dziecka a później dom poprawczy. W 1985 r. podczas remontu i badań archeologicznych odkryto średniowieczne mury. Od 1989 r. obiekt znajduje się w rękach prywatnych.
Rodzina Toporczyków zmieniła nazwisko na Pilecki. W 1570 r. Pilica została sprzedana przez Jana Pileckiego biskupowi Filipowi Padniewskiemu. Jego bratanek Władysław, w 1610 r. opuścił zamek w Smoleniu i w Pilicy wybudował rezydencję obronną. Budowla w stylu włoskim została ukończona kilkanaście lat później, kiedy kolejnym właścicielem zamku został Jerzy Zbaraski. Następnym właścicielem zamku został Konstanty Wiśniowiecki. W 1636 r. zamek został przebudowany w pałac renesansowy przez córkę Wiśniowieckiego, która wychodząc za mąż za Stanisława Warszyckiego wniosła pileckie dobra we wiano. W 1655 r. zamek został zdobyty podczas potopu szwedzkiego. W 1731 r. zamek kupiła Maria z Wesslów Sobieska i rozpoczęła jego odbudowę po zniszczeniach wojennych. W II połowie XIX w. zamek trafił w ręce Krystyna Augusta Moesa - przemysłowca i Leona Epsteina, urządzili oni pałac z wielkim przepychem. Kolejnymi właścicielami pałacu została w latach 1906-1945 rodzina Arkuszewskich. Po II wojnie światowej w murach pałacu utworzono dom dziecka a w latach 80-tych dom poprawczy. W 1985 r. podczas remontu i badań archeologicznych odkryto średniowieczne mury. W 1989 r. pałac przeszedł w ręce prywatne. Park przypałacowy o powierzchni 10 hektarów został założony przez Marię z Wesslów Sobieską na wzór francuski.
Krótki film prezentujący zamek w Pilicy:
