Początek XX stulecia przyniósł ostatnie przekształcenia architektury zamku. W 1914 r. ukończono budowę mauzoleum księcia Carla, który zmarł dwa lata wcześniej. Budowlę dostawiono od północy do kaplicy zamkowej. Ciało księcia złożono w nim w kamiennym sarkofagu. Kilka lat wcześniej w pobliżu willi Adelajdy stanęło stylowe mauzoleum jego matki Wandy. W latach 20. zainstalowano na zamku elektryczne oświetlenie i nową sieć wodociągową.
Na przełom XIX i XX wieku datować należy także nowe nasadzenia bzów na terenie całego Wzgórza Adelajdy, które nadały temu miejscu charakterystyczny wygląd i sprawiały, że zamek Karolat z wsią w latach międzywojennych nazwano bzowym rajem (Fliederparadies).
 Do historii przeszły organizowane w tym czasie w Siedlisku festyny i zabawy ludowe w czasie kwitnienia bzów. W ich organizację zaangażowany był ostatni właściciel majątku Hans Carl Erdmann. Największy z nich zorganizowano w dniach 17-25 maja 1925 r. Kilkudniowa majowa impreza odbyła się w Bytomiu Odrzańskim, na nadodrzańskich błoniach i oczywiście w Siedlisku i na zamku. Towarzyszyły jej korowody mieszkańców przebranych w historyczne stroje, inscenizacje batalistyczne, zabawy taneczne, przedstawienia teatralne i wycieczki statkami po Odrze.
W 1933 r. zmarł nagle książę Hans Carl Erdmann, którego pochowano, zgodnie z jego życzeniem, na Wzgórzu Adelajdy. Spadkobierca Carl Erdmann w chwili śmierci ojca miał tylko trzy lata, stąd administrowanie majątkiem i zamkiem powierzono zarządcom.
W czasie II wojny światowej zamek wytypowany został na jedną ze składnic zabytków zagrożonych alianckimi bombardowaniami. Przez pewien (1943-1944 ?) czas składowano tu zbiory zabezpieczone przez berlińskiego konserwatora zabytków. W tym czasie część zamku zajmowało wojsko. Rodzina książęca z niewielkim bagażem opuściła zamek w przededniu wkroczenia do Siedliska wojsk radzieckich na początku lutego 1945 r. Zamek z całym wyposażeniem wpadł w ręce Rosjan, którzy stacjonowali w nim do kwietnia. Mieścił się tu m.in. szpital polowy. Po jego likwidacji zamek podpalono, wcześniej zapewne ogołacając z cenniejszego wyposażenia. Spłonęło niemalże całe założenie. Z pożogi ocalała tylko część skrzydła wschodniego z kaplicą i mauzoleum księcia Carla oraz budynek bramny, a w nim biblioteka zamkowa. Ocalałe od grabieży i pożogi cenne zbiory biblioteczne zabezpieczyły władze polskie, a wiosną 1946 r. przewieziono je do Warszawy.

Spalony zamek na przełomie lat 40. i 50. XX stulecia uległ dewastacji. Dopiero pod koniec lat 50. podjęto próby ratowania ruin. Na początku kolejnej dekady z inicjatywy wojewódzkiego konserwatora zabytków zabezpieczono zachowane partie zamku. W 1960 r. zamek przekazano harcerzom, którzy zaadaptowali ruiny na cele letniej bazy obozowej. Do 1970 r. harcerze zielonogórskiego szczepu  ZHP „Makusyny” oczyścili i uporządkowali ruiny.  W 1986 r. władze gminne rozpoczęły remont zamku. Pracami objęto skrzydło wschodnie, kaplicę i budynek bramny. Pozostałe obiekty zabezpieczono i pozostawiono w stanie trwałej ruiny. Odbudowę zakończono w 1989 r., a w wyremontowanych pomieszczeniach umieszczono Gminny Ośrodek Kultury i bibliotekę. W 2003 r. zamek zakupił prywatny przedsiębiorca, który prowadził prace zabezpieczające. Z dzikiej roślinności oczyszczono również skarpę odrzańską i tereny dawnych ogrodów. Kolejny właściciel kilka lat później rozpoczął prace remontowe, m.in. wymienił pokrycie dachowe w budynku bramnym. Udostępnił także zamek zwiedzającym. Za sprawą założonej przez młodych mieszkańców Siedliska Fundacji „Karolat” na zamku w 2011 r. zorganizowano pierwsze „Święto bzów”. Na zamkowym dziedzińcu obył się festyn, który miał przywrócić tradycje zabawy w dniach kwitnienia bzów. Imprezie towarzyszyły wystawy historyczne i prelekcje na temat dziejów zamku. Duże zainteresowanie mediów i lokalnej społeczności skłoniło organizatorów do kontynuacji pomysłu. Na „Święcie bzów” w 2012 r. pojawili się  potomkowie dawnych właścicieli zamku – rodzina Schönaich-Carolath, a w 2013 r. włączyli się czynnie w organizację imprezy, fundując główną nagrodę dla zwycięzcy turnieju rycerskiego „O miecz Fabiana”.

Zamek do 1945 r. Zamek w 1962 r. Zamek w czasach "Makusynów" Zdjęcia współczesne