1453 року і до початку XVII століття містечко Свірж належало роду Связьких, які й звели на березі ставу твердіша. З трьох боків вода захищає ротччшсиу споруду, а з четвертого за оборону відповідають міцні стіни і самотня оборонна башта, (можливо, каплиці)». Око кіноманьяка її впізнає: це бастіон Сен-Жермен, де чотири мушкетери снідали під ворожими кулями в кінцевій сцені кінофільму.

Якраз напередодні Першої світової війни були завершені роботи з оновлення замку генералом Робертом Лямезан-Салянс (1869-1930). 2 вересня 1914 року садиба, підпалена російськими військами, згоріла разом з цінностями, родинними портретами і бібліотекою. Залишилися лише стіни. Та вже до 1926 року тодішній власник граф Роберт відновлює замок.
Продовжив відбудову зять генерала, граф Тадеуш Комаровецький (1895-1966). В 1939 році, з приходом «совітів», замок стає народним і потроху занепадає. До 1975 року замок стоїть в руїнах.


Своєму відновленню Свірзький замок завдячує заслуженому архітектору України Андрію Шуляру, котрий добився реставрації замку. (Роботи проводилися в 1975 - 1983 рр.). Наразі замок знов реставрують.