Idea powstania Sanktuarium wiąże się z wydarzeniami po śmierci Józefa Piłsudskiego w 1935 roku. Podjęto wówczas kilka inicjatyw, które w sposób szczególny wyróżniły miejsca związane z osobą marszałka. Jedną z nich było powstanie Sanktuarium w przestrzeni kwatery głównej komendanta i sztabu Legionów Polskich z 1914 roku w dawnym Pałacu Biskupów Krakowskich, 
ówczesnej siedzibie Urzędu Wojewódzkiego. Pomysłodawcą przedsięwzięcia był wojewoda kielecki Władysław Dziadosz, były legionista. Ekspozycja nie oddawała charakteru miejsca z okresu Legionów, natomiast tworzyła program ideowo-architektoniczny nawiązujący do niepodległościowego czynu legionowego. Otwarcie Sanktuarium odbyło się 2 października 1938 roku.
W czasie wojny oraz w latach powojennych Sanktuarium zostało zdewastowane. W 1989 roku Muzeum rozpoczęło pracę nad rekonstrukcją Sanktuarium, którego otwarcie odbyło się 5 grudnia 1990 roku, w 123. rocznicę urodzin Józefa Piłsudskiego.
Wejście
Historyczne wejście do Sanktuarium Józefa Piłsudskiego, zaprojektowane przez Stanisława Rzeckiego, zdobi portal z piaskowca zwieńczony kartuszem. W jego polu znajduje się orzeł strzelecki bez korony, z literą „S” na palcie i inicjałami „JP” (Józef Piłsudski) ponad nim. Kartusz otacza sześć sztandarów. Drzwi okute są wstęgami z blachy miedzianej, na przecięciach której pierwotnie znajdowały się odznaki I Brygady Legionów Polskich „Za wierną służbę” oraz Krzyże Legionów. Centralną część zdobi wstęga w kształcie wężyka generalskiego oraz zachowana klamka w kształcie stylizowanej głowy orła. Tablica z piaskowca autorstwa kieleckiego rzeźbiarza Wincentego Skuczyńskiego, umieszczona 
we wnęce okiennej nad portalem wejściowym do Sanktuarium, wypełniona jest cytatem z pieśni IV Beniowskiego.
Sala Sztandarów
Sala Sztandarów, zaprojektowana przez Stanisława Rzeckiego i Andrzeja Olesia, pierwotnie miała pełnić funkcję Muzeum Czynu Legionowego. Zachowana jest oryginalna posadzka wyłożona płytami marmurowymi w kształcie szachownicy oraz dwa oryginalne portale z piaskowca. Na jednym z nich, prowadzącym do właściwego Sanktuarium – Sali Marmurowej – widniała pierwotnie pod gzymsem inskrypcja: „Józef Piłsudski”.
Kaplica
Kaplica została zaprojektowana w alkierzu wieży przez Stanisława Rzeckiego i Andrzeja Olesia. We wnęce okiennej, wyłożonej spatynowaną na kolor zielony blachą miedzianą, umieszczono kopię obrazu Matki Boskiej Ostrobramskiej, a przed nim żelazne lichtarze o podstawie krzyża. W pomieszczeniu zachowano oryginalną posadzkę z płyt kamiennych.
Sanktuarium – Sala Marmurowa
Centralnym punktem ekspozycji jest Sala Marmurowa, dawny osobisty pokój Józefa Piłsudskiego z okresu funkcjonowania sztabu i kwatery głównej. Zachowały się tu marmurowe okładziny ścian, portale oraz charakterystyczna posadzka z motywem wężyka generalskiego i Krzyża Legionów. W sali znajduje się również postument pod maskę pośmiertną marszałka. Fragmentarycznie zachowały się inicjały „JP” na portalach prowadzących do Sali Sztandarów i dawnej sali adiutanta Michała Fuksiewicza, które pierwotnie były dodatkowo zdobione wężykiem generalskim i odznakami I Brygady „Za wierną służbę”.
