Na pińczowskim wzgórzu w XIII w. istniał drewniany gród, który stanowił siedzibę rodową Oleśnickich. Pierwszy murowany zamek w tym miejscu powstał prawdopodobnie w I połowie XIV w.

W latach 1424 - 1454 zamek został rozebrany przez Zbigniewa Oleśnickiego - biskupa krakowskiego. Na jego miejscu zbudowana została nowa rezydencja. W 1586 r. właścicielem zamku i miasta zostaje biskup Piotr Myszkowski, który dokonał przebudowy obiektu w stylu renesansowym. W 1729 r. kolejnymi właścicielami zamku zostaje rodzina Wielopolskich. Niestety zamek w tym czasie zaczyna tak popadać w ruinę, że w 1780 r. Franciszek Wielopolski podejmuje decyzję o rozebraniu obiektu. W latach 1960 - 1962 na wzgórzu przeprowadzono prace archeologiczne, które pozwoliły odkryć zasypane elementy budowli późnogotyckiej takie jak: fragmenty zawalonego muru wykonanego z glinianych bloków. Z pierwotnego grodu zachował się środkowy odcinek wału o konstrukcji gliniano-drewnianej. Dzięki pracom wykopaliskowym więcej można się dowiedzieć o zamku wzniesionym w XV w. przez Zbigniewa Oleśnickiego. Do jego budowy użyto ciosów kamiennych i częściowo cegieł. Zamek posiadał wieżę na planie prostokąta, która była użytkowana jako dom mieszkalny. Pomieszczenia mieszkalne znajdowały się na dwóch kondygnacjach. Na najwyższym piętrze umieszczono ganek straży ze strzelnicami. Funkcje obronne zamku pełniły wieże: graniasta umiejscowiona w północno - wschodnim narożu i druga wysunięta w stronę północno - zachodnią, która broniła przedpola i dojazdu do zamku. Do ruin na wzgórzu najlepiej dojść alejką od strony drogi. Drugą opcję stanowi stroma ścieżka wydeptana przez mieszkańców z drugiej strony wzniesienia. Pozostałości zamku zakryte są bujną roślinnością i nieoznakowane dojście może sprawiać trudność. Smutne jest to, że nie ma jakiejkolwiek tablicy informującej o tym historycznym miejscu, którym Pińczów powinien się pochwalić.