Wśród zabytków Żywca do najcenniejszych należą Stary Zamek Komorowskich i Nowy Zamek - Pałac Habsburgów. Stary Zamek powstał w połowie XIV w. Najpierw stanowił obronną fortecę, później renesansową rezydencję. Obecny wygląd pochodzi z przebudowy jaka miała miejsce w latach 1850-71 i w takim stanie obiekt zachował się do dzisiaj. Po odrestaurowaniu go, od 2005 r. ma tutaj swoją siedzibę Muzeum Miejskie. Nowy Zamek powstał pod koniec XIX w. jako klasycystyczny pałac. Wewnątrz mieścił m. in. zbiór obrazów malarzy polskich i europejskich, posiadał także salę lustrzaną i pawilon rozrywkowy. Oba zamki położone są na terenie parku założonego w XVII w.
Stary Zamek w Żywcu został wzniesiony przez Komorowskich herbu Korczak, powstał w połowie XIV w. Pod koniec XVI w. budowla przeistoczyła się w obronną fortecę z basztami, murami obronnymi, fosą i mostem zwodzonym.Czworoboczna wieża Starego Zamku zwieńczona jest pseudogotyckimi krenelażami (tzw. zębami). W II poł. XVI w. zamek przeistoczył się w renesansową rezydencję. Na lata panowania w Żywcu rodu Wielopolskich przypada drugi okres świetności tego zamku. W latach 1850-71 Karol Habsburg dokonał przebudowy i modernizacji zamku i w takim stanie budowla zachowała się do dzisiaj. Od 2005 r. w murach Starego Zamku swoją siedzibę ma Muzeum Miejskie. Dziedziniec Starego Zamku otoczony jest z czterech stron trzypiętrowymi galeriami arkadowymi. Na parterze kolumny arkad są toskańskie, jońskie są w kolumnach na I piętrze, a na II piętrze słupy żeliwne, które zostały zastosowane w XIX w. w miejsce drewnianych. Na przeciwko Starego Zamku w Żywcu znajduje się Nowy Zamek - pałac Habsburgów. Wybudowany został w miejscu barokowych oficyn zamkowych Wielopolskich. Klasycystyczny pałac zbudowany przez Habsburgów pod koniec XIX w. zaprojektowany z polecenia arcyksięcia Albrechta przez Karola Pietschkę, był kilkakrotnie przebudowywany.W latach 1893–1895 powstało nowe skrzydło pokryte szklanym dachem, w którym urządzono sypialnie i pokoje gościnne. Podczas kolejnej rozbudowy dobudowano pawilon na przedłużenie skrzydła południowego, w którym na piętrze mieściła się sala balowa, o wymiarach 10,5x18,0 m, tzw. lustrzana. Ostatnia rozbudowa miała miejsce w 1911 r. Urządzenie wnętrz powierzono artystom krakowskim: Tadeuszowi Stryjeńskiemu i Franciszkowi Mączyńskiemu. Arcyksiążę Karol Stefan był miłośnikiem sztuki, za jego sprawą powstał na zamku zbiór obrazów malarzy polskich i europejskich W zamku znajdowała się też słynna kolekcja sreber o wadze około 500 kg, która została wywieziona w czasie wojny przez Niemców. Oprócz sali lustrzanej, pałac wyposażony był w pawilon rozrywkowy, w którym znajdowała się kręgielnia i sala bilardowa. Po wojnie w pałacu znalazł swoją siedzibę Zespół Szkół Drzewnych i Leśnych. W latach 90. XX w. do zamku powróciła córka arcyksięcia Karola Olbrachta, księżna Maria Krystyna Altenburg, dla której urządzono mieszkanie w jednym ze skrzydeł dawnej rezydencji. W 2007 roku pojawiła się szansa na wyremontowanie tego pałacu i stworzenie tutaj hotelu. Obok zamków znajduje się 26 hektarowy park, którego początki sięgają XVII w.
