Kielecką rezydencję biskupią ufundował Jakub Zadzik (1582-1642), w latach 1627-1635 podkanclerzy i kanclerz wielki koronny, biskup chełmiński, a od 1635 r. krakowski.
Korpus główny obecnego pałacu stanął najprawdopodobniej już w 1641 r., jednak prace wykończeniowe trwały do roku 1644, pod kierunkiem starosty Stanisława Czechowskiego i budowniczego Jana Herbka, według projektów nieustalonego dotychczas architekta Do niedawna w literaturze pałac funkcjonował jako dzieło Giovanniego Trevano, w nowszych opracowaniach wskazuje się na możliwość wykonania projektu w warszawskim kręgu Constantino Tencalli, czy też przypisuje się ów projekt Tomaszowi Poncino (M. Karpowicz), uważanemu dotąd raczej za realizatora koncepcji sporządzonej przez Trevana.
Powstał wówczas murowany, piętrowy budynek na planie zbliżonym do kwadratu, z dwoma aneksami od strony zachodniej, nakryty dwoma stromymi dachami. W czterech narożach ustawiono sześcioboczne, trzykondygnacyjne wieże, nakryte hełmami, połączone z elewacją wschodnią za pomocą niskich murów parawanowych.
Parter siedziby biskupiej przeznaczono na potrzeby dworzan i służby pałacowej oraz administracji, piętro zaś miało charakter reprezentacyjno-mieszkalny: wydzielono tu dwie wielkie sale recepcyjne (Sień i Izbę stołową) oraz dwa kilkupokojowe apartamenty, pokoje gościnne i pomieszczenia pomocnicze. Program użytkowy piętra, choć zostało pomyślane jako siedziba dostojników kościelnych, nawiązywał do rozwiązań stosowanych w rezydencjach rodowych.
Bogaty wystrój architektoniczno-malarski budowli (stropy ramowe, stropy belkowe, fryzy podstropowe, oprawy kominków, portali, dekoracje sztukatorskie, figury posłów szwedzkich i moskiewskich przy obeliskach na fasadzie) miał podkreślać wagę dokonań fundatora, jego sukcesy dyplomatyczne z czasów kanclerstwa i posługi duszpasterskiej. Po śmierci fundatora w 1642 r. budowę pałacu kontynuował jego następca biskup Piotr Gembicki (1642-1657).
Część reprezentacyjno-mieszkalną tworzyły człony: korpus pałacu, dziedziniec paradny od wschodu, ogród od strony zachodniej oraz dwa boczne dziedzińczyki kiedyś ogródki, wzdłuż elewacji południowej i północnej (powstałe przez połączenie murami wież frontowych z narożnikami aneksów). Część północnego dziedzińczyka zajmowała kuchenna klatka schodowa, wybudowana tuż po zakończeniu prac budowlanych przy korpusie (około 1645 roku). Klatka za pomocą drewnianego krytego ganka była połączona z budynkiem kuchni płacowej, wybudowanej po północnej stronie dziedzińca.
Opasanie pałacu murem już na etapie budowy miało być nawiązaniem do tradycji średniowiecznej siedziby feudalnej, a tym samym podnosić splendor rezydencji. Potężne mury obwodowe wybudowane z łamanego kamienia o długości 600 m otaczały obszar o powierzchni 2,1 ha. Brama wjazdowa prowadząca z kierunku miasta znajdowała się w północno-wschodniej części dziedzińca. Wewnątrz założenia teren podzielony został murami wewnętrznymi poprowadzonymi od wież zachodnich w kierunku murów obwodowych, na dwie części: tę od zachodu zajmował ogród, od wschodu dziedziniec paradny oraz podwórze gospodarcze (po północnej stronie dziedzińca). Składało się na nie 6 drewnianych budynków: kuchnia pałacowa, dom gościnny, dom starosty, budynek kuchni starościńskiej, stajni starościńskiej i wartowania (kordegarda) położona przy odcinku wschodnim muru od strony północnej, przy bramie wjazdowej. Potrzeby transportowe rezydencji posiadały zaplecze w postaci kilku drewnianych budynków. Usytuowano je od strony południowej pałacu, tuż za murem i biegnącą wzdłuż niego drogą. W murze okalającym dziedziniec od strony południowej wykonano drugą bramę, która prowadziła ku drewnianym budynkom stajni i wozowni.
Ogród o charakterze ozdobno-użytkowym, mieścił w części centralnej cztery kwatery wypełnione ziołami, wokół których uprawiano różne gatunki drzew owocowych. W narożniku północno-wschodnim, przed 1668 r. wybudowano drewnianą i ocembrowaną, krytą gontem lodownię do przechowywania zgromadzonych zimą zapasów lodu. Natomiast po przeciwnej stronie, blisko narożnika północno-zachodniego od 1645 r. stała przystawiona do muru mała, wkopana w ziemię oranżeria zwana figarnią. Do zachodniego odcinka muru dobudowano jednoizbowy domek ogrodnika z małym gankiem.
Sam pałac w XVII wieku nie uległ poważniejszym zmianom, przynajmniej zewnętrznym. Prace sprowadzały się głównie do niezbędnych remontów. Inicjatywą biskupa Andrzeja Trzebickiego (1658-1679) był pierwszy odnotowany w źródłach remont pałacu, wymuszony dewastacją, jakiej dokonały w pałacu przebywające w Kielcach skonfederowane wojska tzw. Związku Święconego, domagające się wypłaty zaległego żołdu. Remont obejmował m.in. renowację dachów (zastąpienie gontów dachówką glazurowaną) oraz zmiany w funkcjach niektórych pomieszczeń: sypialnię biskupią zaaranżowano w Pierwszym Pokoju Biskupim, przeznaczonym wcześniej dla służby, w dawnym Sklepie (Skarbczyk) urządzono kaplicę, w wystroju wnętrz pojawiły się kominki i portale z herbem „Łabędź”. Frontową loggię uświetniły ustawione przed nią armatki.
Istotne zmiany w wyglądzie pałacu wprowadził biskup Konstanty Felicjan Szaniawski (1720-1732), który zadecydował o wzniesieniu skrzydeł bocznych wzdłuż południowego i północnego boku dziedzińca. Miały one powiększyć powierzchnię mieszkalną rezydencji. Projekt skrzydła południowego przypisywany jest Kasprowi Bażance, który prowadził liczne prace budowlane w Kielcach zlecone przez bpa Szaniawskiego. Budowę skrzydła rozpoczęto w 1724 roku, ukończono w 1727 r., jednocześnie przygotowując teren pod zabudowę analogicznego skrzydła po północnej stronie dziedzińca, ( wymagało to wyburzenia pałacowej kuchni oraz budynków zajmowanych przez starostę). Od wschodniego krańca skrzydła południowego na poziomie piętra znajdował się ganek umożliwający komunikację z kolegiatą a dalej poprzez nadbudowę nad Bramą Krakowską z budynkiem szkoły i Seminarium (1724-1729).
Rozpoczęte prace dokończył następca biskup Jan Aleksander Lipski (1732-1746). W latach 1733-1745 roku wybudowano skrzydło północne, zapewne według projektu tego samego architekta, co skrzydło południowe. Oba połączono z południowo – i północno-wschodnimi wieżami korpusu za pomocą piętrowych budynków o otwartym na dziedziniec arkadowym podcieniu w parterze, które umożliwiały wewnętrzną komunikację pomiędzy budynkami. Przy budowie obydwu skrzydeł wykorzystano fragmenty murów obwodowych. Ponadto w obręb skrzydła północnego włączona została podmurówka rozebranej kuchni pałacowej, tworząc wydatny ryzalit od strony północnej.
Skrzydła boczne oprócz dodatkowej powierzchni mieszkalnej, zmieniły charakter założenia pałacowego zbliżając go do francuskiej rezydencji typu entre court et jardin. Nadany wówczas układ, mimo pewnych zmian, głownie wyburzeń, przetrwał do dziś w niezmienionej postaci.
Przed 1745 r. biskup Lipski przywrócił pokrycie gontowe dachu w pałacu, oraz kazał położyć nowe tynki, na których w części środkowej namalowano otoczony ornamentami herb biskupa – Grabie i sąsiadujący z nim zegar słoneczny. Pomalowano również posągi posłów szwedzkich i moskiewskich oraz obeliski stojące na murkach parawanowych (jeden z obelisków zastąpiono wówczas dębowym).
W pierwszej połowie XVIII wieku na piętrze pałacu nastąpiły zmiany funkcji kilku pomieszczeń, co wymusiło pewne przekształcenia wewnętrznego układu komunikacyjnego, m.in. opustoszałą od dawna Kaplicę pałacową włączono w ciąg przejść wiodących do skrzydła południowego. W Drugim Pokoju Prałatów, który służył jako zimowa jadalnia, przebito w ścianie północnej drzwi prowadzące do baszty, a dalej do nowo wybudowanego skrzydła północnego.
W Drugim Pokoju Prałatów oddzielono przegrodą ciąg komunikacyjny wzdłuż okien wschodnich i wybito okno północne, aby doświetlić to pomieszczenie.
Następca biskupa Lipskiego – Andrzej Stanisław Załuski (1746-1758) w połowie XVIII wieku kazał wybudować w obrębie dziedzińczyka południowego budynek oranżerii (ogród zimowy). W 1752 r. w okolicy biskupich stajni wystawiono budynek ujeżdżalni. W tym samym roku powstał budynek Spichlerza, przystawiony do południowego odcinka muru obwodowego. Ponadto biskup Załuski na drugiej i trzeciej kondygnacji wieży płd-zach. urządził bibliotekę, wówczas to po wprowadzeniu drewnianej klatki schodowej na wyższą kondygnację wieży zlikwidowano tzw. locus secretus, znajdujące się w bezpośrednim sąsiedztwie.
Kolejnych modernizacji pałacu i adaptacji wnętrz dokonano za biskupa Kajetana Sołtyka (1759-1788), który rezydował tu stale od 1782 roku. W Trzecim Pokoju Biskupim urządzono wówczas kaplicę, zamurowując przy tym okno wschodnie i odgradzając skośną ścianką narożnik płd.-wsch, w którym urządzono zakrystyjkę. Zasłonięto przy tej okazji płd-wsch. narożnik stropu ramowego Sąd nad Arianami z personifikacją jednej z pór roku – Zimy. Sypialnię biskupią przeniesiono z Pierwszego Pokoju Biskupiego do sionki przed dotychczasową kaplicą, która przez pewien czas pełniła funkcję garderoby. W ramach tej XVIII-wiecznej przebudowy zakryto belkowe stropy trzech pomieszczeń (Pierwszy Pokój Biskupi, Sypialnia biskupa Kajetana Sołtyka, Pierwszy Pokój Prałatów) sufitami ozdobionymi gipsaturami. Ponadto ściany siedmiu pomieszczeń obito tkaninami (Drugi i Trzeci Pokój Biskupi, Izba Stołowa Górna, Pierwszy i Drugi Pokój Senatorski, Pierwszy i Drugi Pokój Prałacki).
Decyzją Sejmu Czteroletniego 26 sierpnia 1789 roku dobra kieleckie biskupów krakowskich w tym pałac zostały przejęte przez Skarb Państwa. Od tej chwili budynek wykorzystywany był przede wszystkim do celów administracyjnych. W 1. połowie XIX wieku był on siedzibą m.in. kwater i magazynów wojskowych oraz lazaretu (od 1805 r.), biur prezesa Komisji Wojewódzkiej (od 1816 r.), gubernatora cywilnego, Dyrekcji Głównej Górniczej, biur urzędu skarbowego. W latach 1816-1826 w skrzydle północnym funkcjonowała Szkoła Akademiczno –Górnicza, pierwsza w Polsce uczelnia techniczna, założona przez Stanisława Staszica.
Około 1820 roku rozebrano na dziedzińcu bramę wjazdową, natomiast po 1820 roku boczną kuchenną klatkę schodową przy północnej elewacji korpusu. Do 2. połowy XIX wieku przetrwał dom gościnny stojący przy północnej elewacji pałacu.
Postępująca dewastacja pałacu, m.in. usunięcie jednego z czterech stropów ramowych w Drugim Pokoju Biskupim z przedstawieniem Paktów i traktatów moskiewskich spowodowała, że w 1859 roku Rada Administracyjna Królestwa zezwoliła na przeprowadzenie remontu, licząc, że budynek stanie się siedzibą władz sądowych. W latach 1860-1863 przeprowadzono renowację pozostałych stropów ramowych oraz odnowiono fryz podstropowy z wizerunkami biskupów krakowskich w Izbie Stołowej Górnej. Wszystkie prace malarskie wykonał Aleksander Rycerski (1825-1866, malarz i konserwator, w latach 1844-1848 uczeń warszawskiej Szkoły Sztuk Pięknych). Był on również twórcą niższego rzędu portretów biskupów krakowskich – następców biskupa Jakuba Zadzika.
W latach 1867-1872 na skutek przebudowy pałacu na siedzibę urzędu Gubernialnego, dokonano szpecących zmian w sylwecie rezydencji. Przebudowa zgodnie z projektem Franciszka Ksawerego Kowalskiego obejmowała m.in. zastąpienie wysokich hełmów wież płaskimi namiotowymi daszkami, obniżenie dachów obu skrzydeł, usunięcie posągów posłów szwedzkich i moskiewskich z murków parawanowych, rozbiórkę budynku Kordegardy na wschodnim krańcu skrzydła północnego oraz oranżerii stojącej w obrębie południowego dziedzińczyka. W tym stanie pałac przetrwał do okresu międzywojennego, kiedy to został przejęty przez Urząd Wojewódzki. Dokonano wówczas restauracji budynku, doprowadzając do stanu aktualnego: zrekonstruowano (według projektu Adolfa Szyszko-Bohusza) hełmy wież od strony wschodniej (w latach 1923-1927) oraz wież od strony zachodniej (w latach 1937-1938). W latach 1933-1935 zespół pod kierownictwem Henryka Czarneckiego prowadził prace konserwatorskie we wnętrzach m.in. odsłonił i przeprowadził renowację stropów belkowych i fryzów podstropowych w Pierwszym Pokoju Biskupim, Drugim Pokoju Prałatów oraz Izbie Stołowej Górnej. Zabezpieczono stropy Izby Stołowej Górnej oraz Sieni Górnej poprzez podwieszenie do podciągów na strychu.
W 1923 r. kielecki architekt Wacław Borowiecki zaprojektował nadbudowę skrzydła południowego i dziedzińczyk między oficyną a pałacem. Jest on również twórcą projektu neorenesansowego budynku pomocniczego (oficyny ogrodowej), wybudowanego w okresie międzywojennym w miejscu dawnego domu gościnnego, po północnej stronie pałacu. W 1926 roku wycięto drzewa i krzewy zasadzone w okresie 1860-1863 na frontowym dziedzińcu i zasadzono nową niską zieleń według projektu Stanisława Mazurkiewicza. Od tej pory dziedziniec frontowy zajmują dwa duże trawniki przedzielone alejką. Z inspiracji wojewody Władysława Dziadosza na pamiątkę pobytu w pałacu w sierpniu i wrześniu 1914 roku Józefa Piłsudskiego urządzono w trzech pomieszczeniach południowo-zachodniej części przyziemia Sanktuarium Marszałka Józefa Piłsudskiego i Muzeum Legionów Polskich, które uroczyście otworzono w 1938 r. Wejście do Sanktuarium prowadziło od strony południowego dziedzińczyka, w miejsce, którego po 1935 roku wprowadzono taras.
W okresie 1939-1945 pałac był siedzibą niemieckich władz okupacyjnych, które zdecydowały o przeprowadzeniu we wnętrzach remontu. Odsłonięto wówczas i pomalowano strop belkowy w Sieni Górnej oraz wbudowano trzy nowe portale.
W okresie powojennym (1945-1970) pałac mieścił biura Prezydium Wojewódzkiej Rady Narodowej. Od 1971 roku rezydencję kielecką przejęło Muzeum Świętokrzyskie (od 1975 roku Narodowe), które rozpoczęło wieloletnie prace remontowe i badania archeologiczne na terenie wzgórza, korpusie głównym, skrzydłach bocznych oraz ogrodzie.
