Pierwsze wzmianki o neogotyckim pałacu w Mrozowie pochodzą z XVIII w. W 1860 r. pałac został przebudowany i zyskał cechy wiejskiej rezydencji z elementami obronnymi.

Kiedy w obiekcie w 1976 r. mieścił się Dom Pomocy Społecznej "Caritas" dokonano w nim remontu. Wymienione zostały stropy, instalacje elektryczne i wodno-kanalizacyjne. W latach 1980-81 przeprowadzono remont dachu i elewacji. W chwili obecnej w pałacu swoją siedzibę ma Zakład Opiekuńczo Leczniczy dla Dorosłych prowadzony przez Zgromadzenie Sióstr Albertynek.