Замок в Залізцях був закладений в 1516 році Марцином Кам'янецьким (Marcin Kamieniecki) (н/в-1530р.), гетьманом польним коронним, сином Яна Кам'янецького. Далі господарями замку були Олеські. Після них містечком та замком володів Юрій-Єжи Мнішек (Jerzy Mniszech) (1548-1613 р.). Наступними власникоми замку і містечка стали Вишнівецькі. Після смерті Констянтина Вишнівецького (Konstanty Wiśniowiecki) (1564-1641 р.р.) (похований разом з сином недалеко у костелі), власником замку стали Потоцькі (Potocki). Після Потоцьких нові власники перетворили фортецю в фабрику, чим і заслужили те, що їх я і не згадую.

В плані фортеця чотиристоронній правильний квадрат. Довжина стін складала 60 метрів кожна. По кутах вимурувані оборонні вежі в чотири яруси. Житлові приміщення були прибудовані до південної та північної оборонних стін. Палац був розміщений у північній частині фортеці зліва від воріт. В замок можна було попасти через підвісний міст та браму. Навколо оборонних стін був викопаний глибокий рів заповнений водою. Фрагменти рову збереглися з північної сторони, вони заповнені і нині водою. Хоч замок і розташований на рівнині, та завдяки болотам, що оточували його з чотирьох сторін, це була грізна неприступна фортеця.

В 1649 році замок взяли війська Максима Кривоноса, під час Визвольної війни. В 1675 році замок захопили і зруйнували татари. А от туркам взяти замок не вдалося. Якась містична подія заставила їх забратися від стін фортеці. Не зважаючи на руйнування, замок знову і знову поставав з руїн і не один раз перебудовувався та укріплювався. Під час Першої світової війни фортецю сильно зруйнувала московитська артилерія. Але і після цієї руйнації замок встояв, але далі його просто розтягнули на будівельні матеріали. Зараз від замку залишилася п'ятикутна оборонна вежа з стрільницями,  глибокі підвали, мури західної частини замку та в'їздна брама. Картуш з гербами власників замку (Пилява, Порай, Ружа), що знаходився над воротами, зараз знаходиться у музеї. 

Цікавим є той факт, що звідси у 1604 році, розпочався похід Дмитра, чоловіка Марії Мнішек і зятя Ю. Мнішека (на той час господаря містечка і замку) на Москву. У замку збиралося і готувалося до походу на Московію польське військо. Відомо також, що похід підтримував Констянтин Вишнівецький. Дмитро (Самозванець у російській історії) був царем Московії у 1605-1606 роках. Після заколоту бояр, був вбитий московитами.

-Герб Пилява (Pilawa) роду Кам'янецьких.
-Мартин Кам'янецький (Marcin Kamieniecki) (н/в-1530р.) - гетьман польний коронний (1520-1528.р), воєвода подільський від 1515р., почесний ротмістр охоронець королівського двору. В 1516 році здобував перемоги в битвах з татарами під Потоком, Теребовлею, Підгайцями, Вишнівцем.

-Герб Мнішек (Mniczeck) родини Мнішек.

-Єжи Мнішек (Jerzy Mniszeck) (1548-1613р.) - каштелян радомський (1582р.), воєвода сандомирський від 1590р., староста Львівський в 1593р., батько Марії Мнішек           (Maryna Mniszeck) яку видав заміж за Дмитра Самозванця.

-Герб Корибут (Korybut) родини Вишневецьких.

-Константин Вишневецький (Konstanty Wisniowiecki) (1564-1641р.) - князь, воєвода бельський 1636р., руський 1638р., староста черкаський, камянецький.

-Януш Вишневецький (Janusz Wisniowiecki) (1598-1636 р.) - князь, староста кременецький, конюшний виликокоронний.