Nieodgadnionym elementem architektury wiślickiej jest zamek lub dwór królewski, który miał zostać wybudowany w XIV wieku przez króla Kazimierza Wielkiego. O jego lokalizacji pisał słynny kronikarz Jan Długosz.
Pierwsze wspomnienie w materiałach źródłowych o istnieniu rezydencji królewskiej i jego drewnianej sali pochodzi z 1388 roku. Jego działalność w tym czasie potwierdzają rachunki dworu pary królewskiej Władysława i Jadwigi. Lustracja z 1564 roku wspomina o zdewastowanym już zamku, który miał istnieć do momentu spalenia go przez Szwedów w 1657 roku.
Lokalizacja zamku i jego istnienie jest sprawą kontrowersyjną. Lustracja z 1765 roku umiejscawiała ruiny rezydencji królewskiej na wyspie grodziskowej. Mogły na to wpłynąć widoczne ślady wtedy występujących murów obronnych. Trzeba jednak zaznaczyć, że badania archeologiczne na wiślickim grodzisku nie potwierdziły założeń o istniejącej tam siedzibie królów.
Prace terenowe pozwoliły na zasugerowanie drugiego prawdopodobnego miejsca lokalizacji rezydencji królewskiej. Była to wyspa miejska tzw. Regia. Analiza faktów i źródeł pisanych sugeruje, że teren, na którym Kazimierz Wielki planował budowę zamku, zajmowałby plac ok. 50 x 70 m, pomiędzy bramą zamkową a odsłoniętą basztą. Umiejscowienie w tym miejscu siedziby króla uwiarygadnia fakt, iż ulica biegnąca od rynku do bramy nie biegnie w linii prostej, ale załamuje się, tak jakby omijała jakąś przeszkodę w terenie, który jako in regia nie mógł być objęty zabudową miejską. Pozostały teren, najwyżej położony, mógł stanowić miejsce na ogrody zamkowe. Prowadzone tu badania archeologiczne, które były skierowane na poszukiwanie reliktów zamku królewskiego, nie pozwoliły na jednoznaczne zlokalizowanie siedziby królewskiej.
Całkiem możliwe, że plan Kazimierza Wielkiego o budowie zamku nie został nigdy zrealizowany. Z późniejszych źródeł wynika bowiem, że najprawdopodobniej budowę zakończono na drewnianym dworze, o którego remontach i przebudowach mówią wiadomości i przekazy z XV i XVI wieku. Miał być to budynek niewielki, w zasadniczej części zbudowany z drewna. Rozebrany z całym obwodem murów po 1766 roku.
Fot. Wiślica 1936 rok, fot. H. Poddębski