Z ruin położonych na wzgórzu niewiele pozostało do obecnych czasów. Zamek podupadł po licznych najazdach i walkach. W latach 90-tych XX w. został rozsławiony poprzez pokazy pirotechniczne i laserów. Warto jednak wybrać sie na spacer między olsztyńskimi skałkami i wejść na wieżę zamkową by zobaczyć panoramę okolicy.

Prawdopodobnie na miejscu obecnego zamku istniała wcześniej warownia. Pierwsza wzmianka o zamku datuje się na lata 1349 - 1359 za rządów Kazimierza Wielkiego. W roku 1370 Ludwik Węgierski przekazał Olsztyn w lenno księciu opolskiemu - Władysławowi. W jego rękach zamek był do 1396 r. Po 1396 r. Władysław Jagiełło odebrał zamek Opolczykowi po ciężkim oblężeniu i przywrócił Koronie, czyniąc z niego siedzibę starostwa koronnego. Zamek był częstym obiektem najazdów i walk, co spowodowało jego szybką dewastację. W latach 1422 - 1457 zamek był oblegany przez wojska książąt śląskich. W 1656 r. zamek został zniszczony podczas potopu szwedzkiego. Do wieku XVIII był już ruiną. W latach 1722 - 1726 fragmenty zamku zostały rozebrane. Legendy mówią, że podziemia olsztyńskiego zamku łączą się z klasztorem na Jasnej Górze w Częstochowie.Obecnie z ruin pozostało niewiele. Zamek składał się z 3 części: zamku dolnego, średniego i górnego. Zamek górny z kaplicą i basztą stanowił właściwą warownię. Poza murami zamku usadowiona jest kwadratowa baszta obserwacyjna. Nad ruinami góruje wysoka (35 m) okrągła baszta z XIV w., która zbudowana została z kamienia, górna część nadbudowana z cegły powstała później.Ruiny zamku zasłynęły z pokazów pirotechnicznych jakie odbywały się tutaj w latach 90-tych XX w. W roku 2003 na wieży starościńskiej utworzono punkt widokowy.Wzgórze na którym znajdują się ruiny zamku wykorzystywane jest przez paralotniarzy do uprawiania sportu.

Warto tutaj przyjechać na odpoczynek kiedy dopisuje pogoda. Spacer wśród skałek i roztaczający się z zamkowego wzgórza ładny widok na okolicę powinien zadowolić każdego turystę.