Z pałacem w Grabkach Dużych wiąże się postać Stanisława Rupniewskiego - dziedzica Grabek i Gnojna. Spędził on wiele lat w niewoli tureckiej. Uwolniono go po przyjęciu islamu. Po powrocie do Polski wzniósł on w Grabkach w 1742 r. pałac o wyraźnie orientalnym charakterze.

Budowla powstała na planie ośmioboku. Na parterze znajduje się olbrzymia sala z obudowanymi symetrycznie mniejszymi pokojami, a na piętrze liczne pokoiki także rozmieszczone symetrycznie. Ten wyjątkowy budynek zaprojektował pochodzący z Rzymu architekt Francesco Placidi. Rozwiązły tryb życia kasztelana w połączeniu z wyznawaną przez niego religią i stylem architektoniczny budynku, sprawił, że pałac zaczął być nazywany przez tutejszych mieszkańców haremem. Kasztelan Rupniewski zmarł tragicznie w 1764 r. Według legendy, mocno już posunięty w latach szlachcic zakochał się bez pamięci w młodej dziewczynie z Szydłowa - wychowanicy tamtejszego plebana. Kasztelan postanowił porwać Szydłowiankę i przemocą umieścić ją w swym pałacu w Grabkach. Udało mu się co prawda uprowadzić dziewczynę, ale gdy dojeżdżali do pałacu rozpędzony powóz roztrzaskał się o przydrożne drzewo, a kasztelan nieszczęśliwie nadział się na własny kindżał. Tak brzmi legenda. Czy kasztelan rzeczywiście zginął z ręki broniącej swej cnoty dziewczyny, czy może jednak znalazł śmierć na skutek nieszczęśliwego wypadku, nie dowiemy się zapewne już nigdy. Pałac Rupniewskich w następnych wiekach kilkakrotnie ulegał zniszczeniu. W 1831 r.  został spalony, ale dość szybko dźwignięo go z ruin i odbudowano. W czasie działań wojennych, w latach 1944 - 1945 uległ poważnym zniszczeniom. Został odbudowany i zrekonstruowany przez państwo. Umieszczono tutaj siedzibę Wojewódzkiego Ośrodka Doskonalenia w Małogoszczy, gdzie organizowano różne kursy dla rolników. Kiedy Wojewódzki Ośrodek Doskonalenia przestał istnieć majątek przejęła gmina Szydłów, a pałac nieużywany przez kilka lat niszczał. W 1991 r.pałac w stanie opłakanym zakupiła prywatna osoba, która włożyła dużo wysiłku w przywrócenie mu dawnego blasku. Dziś pałacyk jest zadbany i wygląda urzekająco. Nie jest  udostępniony do zwiedzania, można go obejrzeć tylko z zewnątrz.

Źródło: tablica informacyjna obiektu