Położony na niewielkim wzniesieniu zamek w Lipie powstał prawdopodobnie na przełomie XIII i XIV w. Dokładnie nie wiadomo, kto był jego fundatorem, być może był to ktoś ze śląskich rodów rycerskich a niektóre źródła dopatrują się powiązań zamku w Lipie z zakonem templariuszy.

Wiadomo, że w tamtym czasach obiekt miał pełnić funkcję strażnicy. W XVII w. zamek został przebudowany w stylu renesansowym przez Ernsta Zedlitza, Sigismunda i jego syna Bartela. Kolejnymi jego właścicielami były rodziny von Reibnitz i von Nimptsch. Wkrótce potem zamek utracił swoje znaczenie obronne i został opuszczony. Potem wykorzystywano go jako magazyn a jego kamienne mury były stopniowo rozbierane. W 1834 r. nowym właścicielem zamku zostaje hrabia Rudolph von Stillfried-Rattonitz, który dokonał remontu obiektu i nadał mu styl neogotycki. W czasie II wojny światowej zamek został zniszczony. Renowacja przeprowadzona w latach 70-tych XX w. jeszcze tylko pogorszyła jego stan. W chwili obecnej to co pozostało z zamku stanowi malowniczą ruinę, która niestety grozi zawaleniem.