F 1Za sprawą XIX-wiecznego kronikarza D. Klopscha utrwalił się pogląd, że w miejscu dawnej warowni w XIV wieku miał funkcjonować domek myśliwski króla Czech i cesarza Karola IV Luksemburskiego i z imieniem tego władcy związana jest późniejsza nazwa tego miejsca Karlat (czyli las Karola). Po podziale ziem księstwa głogowskiego, dokonanym w 1360 r. przez króla czeskiego, część okręgu bytomskiego wraz z Tarnowem i Siedliskiem znalazła się w jego posiadaniu. Pozostałe ziemie znalazły się we władaniu książąt głogowskich. Niewykluczone, że podczas swoich pobytów w Głogowie władca Czech Karol IV polował w Puszczy Tarnowskiej  i na jego potrzeby przygotowano specjalne miejsce, być może w dawnej warowni Sedlscho. Pamięć o obecności władcy mogła przetrwać wśród potomnych, a jego imię znalazło się w późniejszej nazwie za sprawą nowych właścicieli tych terenów.
W 1381 r. cesarz Wacław IV oddał swoją część okręgu bytomskiego z Tarnowem Jeziernym w lenno Nickelowi von Rechenbergowi, którego w ten sposób nagrodzono za wierną służbę Luksemburgom. Dwa lata później cesarz zmienił formę nadania na zastaw, jednak go nie wykupił i w ten sposób ziemie te na przeciąg 200 lat znalazły się we władaniu rodu Rechenbergów. W składzie dóbr tej rodziny znalazł się także, jeżeli jeszcze istniał, domek myśliwski cesarza. Prawdopodobnie w jego miejscu Rechenbergowie u schyłku XV stulecia wznieśli niewielki murowany gotycki zamek, który po raz pierwszy wzmiankowano jako dom Karlat w 1507 r. – własność Balthasara von Rechenberga. Od tej pory rezydencję, a później położoną przy niej osadę nazywano – Karlat (XVI-XVII w.); Carolath (XVIII-XX w.); – Karolat (1945-1947), a w 1947 r. Siedlisko. W połowie XVI wieku zamek przebudowany został przez Franza von Rechenberga. Według D. Klopscha ówczesna renesansowa budowla miała się składać z trzykondygnacyjnego domu mieszkalnego i budynku bramnego, całość otaczała nawodniona fosa. Przy zamku w tym czasie funkcjonował duży folwark oraz osada z ludnością służebną.