Kielecką rezydencję biskupią ufundował Jakub Zadzik (1582–1642), w latach 1627–1635 podkanclerzy i kanclerz wielki koronny, biskup chełmiński, a od 1635 roku krakowski. Korpus główny obecnego pałacu stanął najprawdopodobniej już w 1641 roku, jednak prace wykończeniowe trwały do 1644, pod kierunkiem starosty Stanisława Czechowskiego i budowniczego Jana Herbka, według projektów nieustalonego dotychczas architekta. Do niedawna w literaturze pałac funkcjonował jako dzieło Giovanniego Trevano, w nowszych opracowaniach wskazuje się na możliwość wykonania projektu w warszawskim kręgu Constantino Tencalli. Projekt przypisuje się też Tomaszowi Poncino, uważanemu dotąd raczej za realizatora koncepcji sporządzonej przez Trevano.
Powstał wówczas murowany piętrowy budynek na planie zbliżonym do kwadratu, z dwoma aneksami od strony zachodniej, nakryty dwoma stromymi dachami. W czterech narożach ustawiono sześcioboczne, trzykondygnacyjne wieże, nakryte hełmami, połączone z elewacją wschodnią za pomocą niskich murów parawanowych.
Parter siedziby biskupiej przeznaczono na potrzeby dworzan i służby pałacowej oraz administracji, piętro zaś miało charakter reprezentacyjno-mieszkalny: wydzielono tu dwie wielkie sale recepcyjne (Sień i Izbę Stołową) oraz dwa kilkupokojowe apartamenty, pokoje gościnne i pomieszczenia pomocnicze. Program użytkowy piętra, choć zostało pomyślane jako siedziba dostojników kościelnych, nawiązywał do rozwiązań stosowanych w rezydencjach rodowych.
Bogaty wystrój architektoniczno-malarski budowli (stropy ramowe, stropy belkowe, fryzy podstropowe, oprawy kominków i portali, dekoracje sztukatorskie, figury posłów szwedzkich i moskiewskich przy obeliskach na fasadzie) miał podkreślać wagę dokonań fundatora, jego sukcesy dyplomatyczne z czasów kanclerstwa i posługi duszpasterskiej. Po jego śmierci, w 1642 roku, budowę pałacu kontynuował jego następca biskup Piotr Gembicki (1642–1657).
Część reprezentacyjno-mieszkalną tworzyły: korpus pałacu, dziedziniec paradny od wschodu, ogród od strony zachodniej oraz dwa boczne dziedzińczyki, kiedyś ogródki, wzdłuż elewacji południowej i północnej (powstałe przez połączenie murami wież frontowych z narożnikami aneksów). Część północnego dziedzińczyka zajmowała kuchenna klatka schodowa, wzniesiona tuż po zakończeniu prac budowlanych przy korpusie (około 1645 roku). Była ona połączona drewnianym krytym gankiem z budynkiem kuchni pałacowej, wybudowanej po północnej stronie dziedzińca.
Opasanie pałacu murem już na etapie budowy miało być nawiązaniem do tradycji średniowiecznej siedziby feudalnej, a tym samym podnosić splendor rezydencji. Potężne mury obwodowe wybudowane z łamanego kamienia o długości 600 metrów otaczały obszar o powierzchni 2,1 ha. Brama wjazdowa prowadząca z kierunku miasta znajdowała się w północno-wschodniej części dziedzińca. Wewnątrz założenia teren podzielony został murami wewnętrznymi poprowadzonymi od wież zachodnich w kierunku murów obwodowych na dwie części: tę od zachodu zajmował ogród, od wschodu dziedziniec paradny oraz podwórze gospodarcze (po północnej stronie dziedzińca). Składało się na nie sześć drewnianych budynków: kuchnia pałacowa, dom gościnny, dom starosty, kuchnia starościńska, stajnia starościńska i wartowania (kordegarda) położona przy odcinku wschodnim muru od strony północnej, przy bramie wjazdowej. Na potrzeby transportowe rezydencji przewidziano zaplecze w postaci kilku drewnianych budynków, usytuowanych od strony południowej pałacu, tuż za murem i biegnącą wzdłuż niego drogą. W murze okalającym dziedziniec od strony południowej wykonano drugą bramę, która prowadziła ku drewnianym budynkom stajni i wozowni.
Ogród o charakterze ozdobno-użytkowym mieścił w części centralnej cztery kwatery wypełnione ziołami, wokół których uprawiano różne gatunki drzew owocowych. W narożniku północno-wschodnim przed 1668 rokiem wybudowano drewnianą, ocembrowaną i krytą gontem lodownię do przechowywania zgromadzonych zimą zapasów lodu. Po przeciwnej stronie, blisko narożnika północno-zachodniego, od 1645 roku znajdowała się przystawiona do muru, wkopana w ziemię, oranżeria zwana figarnią. Do zachodniego odcinka muru dobudowano jednoizbowy domek ogrodnika z małym gankiem.
Sam pałac w XVII wieku nie uległ poważniejszym zmianom zewnętrznym. Prace sprowadzały się głównie do niezbędnych remontów. Pierwszy odnotowany w źródłach remont pałacu był inicjatywą biskupa Andrzeja Trzebickiego (1658–1679) i wymuszony został dewastacją, jakiej dokonały w pałacu przebywające w Kielcach skonfederowane wojska tzw. Związku Święconego, domagające się wypłaty zaległego żołdu. Remont obejmował m.in. renowację dachów (zastąpienie gontów dachówką glazurowaną) oraz zmianę funkcji niektórych pomieszczeń: sypialnię biskupią zaaranżowano w Pierwszym Pokoju Biskupim, przeznaczonym wcześniej dla służby, w dawnym Sklepie (Skarbczyk) urządzono kaplicę, w wystroju wnętrz pojawiły się kominki i portale z herbem „Łabędź”. Frontową loggię uświetniły ustawione przed nią armatki.
Istotne zmiany w wyglądzie pałacu wprowadził biskup Konstanty Felicjan Szaniawski (1720–1732), który zadecydował o wzniesieniu skrzydeł bocznych wzdłuż południowego i północnego boku dziedzińca. Miały one powiększyć powierzchnię mieszkalną rezydencji. Projekt skrzydła południowego przypisywany jest Kasprowi Bażance, który prowadził liczne prace budowlane w Kielcach zlecone przez biskupa Szaniawskiego. Budowę rozpoczęto w 1724 roku, ukończono trzy lata później, jednocześnie przygotowując teren pod zabudowę analogicznego skrzydła po północnej stronie dziedzińca (wymagało to wyburzenia pałacowej kuchni oraz budynków zajmowanych przez starostę). Od wschodniego krańca skrzydła południowego na poziomie piętra znajdował się ganek umożliwiający komunikację z kolegiatą, a dalej poprzez nadbudowę nad Bramą Krakowską z budynkiem szkoły i seminarium (1724–1729).
Rozpoczęte prace dokończył biskup Jan Aleksander Lipski (1732–1746). W latach 1733–1745 wybudowano skrzydło północne, zapewne według projektu tego samego architekta co skrzydło południowe. Oba połączono z południowo- i północno-wschodnimi wieżami korpusu za pomocą piętrowych budynków o otwartym na dziedziniec arkadowym podcieniu w parterze, które umożliwiały wewnętrzną komunikację pomiędzy budynkami. Przy budowie skrzydeł wykorzystano fragmenty murów obwodowych. Ponadto w obręb skrzydła północnego włączona została podmurówka rozebranej kuchni pałacowej, tworząc wydatny ryzalit od strony północnej.
Skrzydła boczne, oprócz zapewnienia dodatkowej powierzchni mieszkalnej, zmieniły charakter założenia pałacowego, zbliżając go do francuskiej rezydencji typu entre cour et jardin. Nadany wówczas układ, mimo niektórych zmian, głównie wyburzeń, przetrwał do dziś w niezmienionej postaci.
Przed 1745 rokiem biskup Lipski przywrócił pokrycie gontowe dachu w pałacu oraz kazał położyć nowe tynki, na których w części środkowej namalowano otoczony ornamentami herb biskupa Grabie i sąsiadujący z nim zegar słoneczny. Pomalowano również posągi posłów szwedzkich i moskiewskich oraz obeliski stojące na murkach parawanowych (jeden z obelisków zastąpiono wówczas dębowym).
W 1. połowie XVIII wieku na piętrze pałacu zmieniono funkcje kilku pomieszczeń, co wymusiło przekształcenia wewnętrznego układu komunikacyjnego, m.in. opustoszałą od dawna kaplicę pałacową włączono w ciąg przejść wiodących do skrzydła południowego. W Drugim Pokoju Prałatów, który służył jako zimowa jadalnia, przebito w ścianie północnej drzwi prowadzące do baszty, a dalej do nowo wybudowanego skrzydła północnego. W tym samym pomieszczeniu przegrodą oddzielono ciąg komunikacyjny wzdłuż okien wschodnich oraz wybito okno północne, aby doświetlić wnętrze.
Następca biskupa Lipskiego – Andrzej Stanisław Załuski (1746–1758) – w połowie XVIII wieku w obrębie dziedzińczyka południowego kazał wybudować budynek oranżerii (ogród zimowy). W 1752 roku w pobliżu biskupich stajni wzniesiono budynek ujeżdżalni. W tym samym czasie powstał budynek spichlerza, przystawiony do południowego odcinka muru obwodowego. Ponadto biskup Załuski na drugiej i trzeciej kondygnacji wieży południowo-zachodniej urządził bibliotekę, wówczas to po wprowadzeniu drewnianej klatki schodowej na wyższą kondygnację wieży zlikwidowano tzw. locus secretus, znajdujące się w bezpośrednim sąsiedztwie.
Kolejnych modernizacji pałacu i adaptacji wnętrz dokonano za biskupa Kajetana Sołtyka (1759–1788), który stale rezydował tu od 1782 roku. W Trzecim Pokoju Biskupim urządzono wówczas kaplicę, zamurowując przy tym okno wschodnie i odgradzając skośną ścianką narożnik południowo-wschodni, w którym urządzono zakrystyjkę. Przy tej okazji zasłonięto południowo-wschodni narożnik stropu ramowego Sąd nad Arianami z personifikacją jednej z pór roku – Zimy. Sypialnię biskupią przeniesiono z Pierwszego Pokoju Biskupiego do sionki przed dotychczasową kaplicą, która przez pewien czas pełniła funkcję garderoby. W ramach tej przebudowy zakryto belkowe stropy trzech pomieszczeń (Pierwszego Pokoju Biskupiego, sypialni biskupa Kajetana Sołtyka, Pierwszego Pokoju Prałatów) sufitami ozdobionymi gipsaturami. Ponadto ściany siedmiu pomieszczeń (Drugiego i Trzeciego Pokoju Biskupiego, Izby Stołowej Górnej, Pierwszego i Drugiego Pokoju Senatorskiego, Pierwszego i Drugiego Pokoju Prałackiego) obito tkaninami.
Decyzją Sejmu Czteroletniego 26 sierpnia 1789 roku dobra kieleckie biskupów krakowskich zostały przejęte przez Skarb Państwa. Od tej chwili budynek pałacu wykorzystywany był przede wszystkim do celów administracyjnych. W 1. połowie XIX wieku był siedzibą m.in. kwater i magazynów wojskowych oraz lazaretu (od 1805), biur prezesa Komisji Wojewódzkiej (od 1816), gubernatora cywilnego, Dyrekcji Głównej Górniczej, biur urzędu skarbowego. W latach 1816–1826 w skrzydle północnym funkcjonowała Szkoła Akademiczno-Górnicza, pierwsza w Polsce uczelnia techniczna, założona przez Stanisława Staszica.
Około 1820 roku na dziedzińcu rozebrano bramę wjazdową, natomiast po 1820 roku – boczną kuchenną klatkę schodową przy północnej elewacji korpusu. Do 2. połowy XIX wieku przetrwał dom gościnny stojący przy północnej elewacji pałacu.
Postępująca dewastacja pałacu, m.in. usunięcie jednego z czterech stropów ramowych w Drugim Pokoju Biskupim z przedstawieniem paktów i traktatów moskiewskich, spowodowała, że w 1859 roku Rada Administracyjna Królestwa zezwoliła na przeprowadzenie remontu, licząc, że budynek stanie się siedzibą władz sądowych. W latach 1860–1863 przeprowadzono renowację pozostałych stropów ramowych oraz odnowiono fryz podstropowy z wizerunkami biskupów krakowskich w Izbie Stołowej Górnej. Wszystkie prace malarskie wykonał Aleksander Rycerski. Był on również twórcą niższego rzędu portretów biskupów krakowskich – następców biskupa Jakuba Zadzika.
W latach 1867–1872 w wyniku przebudowy pałacu na siedzibę Urzędu Gubernialnego dokonano szpecących zmian w sylwecie rezydencji. Przebudowa zgodnie z projektem Franciszka Ksawerego Kowalskiego obejmowała m.in. zastąpienie wysokich hełmów wież płaskimi namiotowymi daszkami, obniżenie dachów obu skrzydeł, usunięcie posągów posłów szwedzkich i moskiewskich z murków parawanowych, rozbiórkę budynku kordegardy na wschodnim krańcu skrzydła północnego oraz oranżerii stojącej w obrębie południowego dziedzińczyka. Pałac zachował się w tym stanie do okresu międzywojennego, kiedy to został przejęty przez Urząd Wojewódzki. Dokonano wówczas restauracji budynku, doprowadzając go do stanu obecnego: zrekonstruowano (według projektu Adolfa Szyszko-Bohusza) hełmy wież od strony wschodniej (w latach 1923–1927) oraz wież od strony zachodniej (w latach 1937–1938). W latach 1933–1935 zespół pod kierownictwem Henryka Czarneckiego prowadził prace konserwatorskie we wnętrzach, m.in. odsłonił i odrestaurował stropy belkowe i fryzy podstropowe w Pierwszym Pokoju Biskupim, Drugim Pokoju Prałatów oraz Izbie Stołowej Górnej. Dodatkowo stropy Izby Stołowej Górnej oraz Sieni Górnej zabezpieczono poprzez podwieszenie do podciągów na strychu.
W 1923 roku kielecki architekt Wacław Borowiecki zaprojektował nadbudowę skrzydła południowego i dziedzińczyk między oficyną a pałacem. Jest on również twórcą projektu neorenesansowego budynku pomocniczego (oficyny ogrodowej), wybudowanego w okresie międzywojennym w miejscu dawnego domu gościnnego, po północnej stronie pałacu.
W 1926 roku wycięto drzewa i krzewy zasadzone w latach 1860–1863 na frontowym dziedzińcu i w ich miejscu posadzono nową niską zieleń według projektu Stanisława Mazurkiewicza. Od tej pory dziedziniec frontowy zajmują dwa duże trawniki przedzielone alejką. Z inspiracji wojewody Władysława Dziadosza na pamiątkę pobytu Józefa Piłsudskiego w pałacu w sierpniu i wrześniu 1914 roku w trzech pomieszczeniach południowo-zachodniej części przyziemia urządzono Sanktuarium Marszałka Józefa Piłsudskiego i Muzeum Legionów Polskich, które uroczyście otworzono w 1938 roku. Wejście do Sanktuarium prowadziło od strony południowego dziedzińczyka, w miejsce którego po 1935 roku wprowadzono taras.
W okresie 1939–1945 pałac był siedzibą niemieckich władz okupacyjnych, które zdecydowały o przeprowadzeniu we wnętrzach remontu. Odsłonięto wówczas i pomalowano strop belkowy w Sieni Górnej oraz wbudowano trzy nowe portale.
W okresie powojennym, 1945–1970, pałac mieścił biura Prezydium Wojewódzkiej Rady Narodowej. Od 1971 roku rezydencję kielecką przejęło Muzeum Świętokrzyskie (od 1975 roku Muzeum Narodowe), które rozpoczęło wieloletnie prace remontowe oraz badania archeologiczne na terenie wzgórza, w korpusie głównym, skrzydłach bocznych i ogrodzie.
