Budowę rezydencji rozpoczęto plantując teren przez zdjęcie warstwy ziemi kryjącej skalne podłoże i posadowienie solidnych fundamentów. Mury zamku wznoszono z zalegającego w okolicy piaskowca, z kamiennego podłoża podczas wyrównywania placu budowy pozyskiwano dolomit, a niezbędne do wykończenia cegły wyprodukowano z pobliskich pokładów gliny. Prace, w których według legendy brali udział jeńcy wojenni, ukończono prawdopodobnie w 1644 roku, o czym informuje nas inskrypcja umieszczona na ścianie pałacu w dziedzińcu eliptycznym. Wydaje się jednak, iż część prac dekoracyjnych, urządzanie wnętrz i zakładanie ogrodów trwało znacznie dłużej, zapewne więc fundator nie dożył czasów pełnego rozkwitu swego dzieła – Ossoliński zmarł bowiem w lutym 1645 schwytany nagłym atakiem febry.

 

Wcześniej jednak przekazał Krzyżtopór synowi Krzysztofowi Baldwinowi jako prezent z okazji ślubu, na którym gościł między innymi sam król Władysław IV. Krzysztof Baldwin nie cieszył się zbyt długo nowym nabytkiem, ponieważ już w 1648 roku wyruszył z zastępem 100 husarzy na wyprawę wojenną przeciwko Tatarom, gdzie w roku następnym zginął w bitwie pod Zborowem. Jego ciała nigdy nie odnaleziono; przywiezione do Ujazdu zmasakrowane zwłoki zostały zidentyfikowane przez żonę Teresę Tarłównę jako obce. Niedługo potem zamek przeszedł w ręce krewnych zmarłego.

 

Po Ossolińskich gospodarzem zamku został…