Перша писемна згадка про Олеський замок відноситься до 1327 року, коли він перейшов у власність Юрія–сина мазовецького князя Тройдена, який був запрошений на галицько-волинский князівський престол після згасання роду Романовичів. Отже замок напевно був побудований одним з синів Юрія Львовича – Левом чи Андрієм. З 1340 року твердинею володів литовський князь Любарт. У 1366 році замок, за допомогою зброї, переходить у власність польського короля Казимира Великого, далі до Владислава князя Опольського.

Після підписання Польщею та Литвою в 1385 році Кревської унії намісником на руських землях залишився брат короля Ягайла – великий князь Свидригайло, який і володів замком. У 1432 році замок був збройно здобутий польською короною і переданий у вічне користування Янові з Сєнна синові Добєслава, нащадки якого (за версією Петра Сенінського) почали зватися Олеськими. Так впала остання руська фортеця в Галичині.

У 1442 та 1453 роках замок успішно відбивався від нападів татарських орд.

В 1512 році фортеця була захоплена татарами, та знову відбудована після вигнання орди. В 1519 році знову прийшли татари. На той час замком володіли Мартин Каменецький, та Фредерік Гербурт, який загинув у битві під Сокалем з татарами. В 1605 році Олеський замок переходить у власність руського магната Івана Даниловича. Данилович був представником короля на Запорозькій Січі. Це у нього на службі в Олеську був Михайло Хмель, батько Богдана Хмельницького. До 1620 року Данилович перебудував замок у ренесансному стилі. Обидва сини Даниловича загинули і замок, як придане доньки Даниловича Марціани, переходить до Конецпольських. Під час Визвольної війни українського народу під проводом Богдана Хмельницького українське військо, в 1648 р., звільнило Олесько від поляків. У 1681 році Ян Собеський (король Польщі) виплачує борги Конецпольського і замок переходить у його власність.

Твердиня реставрується, будуються господарські приміщення, відновлюється парк. В 1707 році під час війни поляків, у союзі з московитами проти шведів, в замку до 1712 року знаходилося московитське військо. У 1716 році замок переходить у власність сина Яна Собецького- Якуба. Якуб в 1719 році продає замок Станіславу Жевуському (Stanisław Mateusz Rzewuski) (XVII – 1728). Син Станіслава Жевуського Вацлав Жевуський (Wacław Rzewuski) (1706-1779) перетворює замок у розкішний палац. У 1755 році всі цінності з Олеського замку було перевезено до Підгорецького замку. Розпочався занепад Олеського замку. З 1796 року замок раз-по-раз змінює власників. Будова сильно постраждала від землетрусу 23 січня 1838 року. На кінець XIX століття Олеський замок сильно занепав та перетворився на руїну. В 1882 році на кошти зібрані у Львові замок був викуплений і переданий у державну власність Польщі. До 1939 року замок використовувався під сільськогосподарську жіночу школу. Під час Другої Світової війни у замку знаходилася російська дивізія Власова, та військові склади.

До 1969 року на місці замку практично залишилися самі руїни. З 1970 року, завдяки Борису Возницькому, розпочалося відновлення Олеського замку. В 1975 році у замку було відкрито музей-заповідник – відділ Львівської галереї мистецтв. Замок мав пейзажний парк та невеликий сад. Без догляду дерева загинули. Зараз парк відновлено, облаштовано декілька галявин, встановлені скульптури, висаджено біля чотирьох тисяч дерев берези, тиса, сосни, катальпа, тюльпанового дерева та кущів. Упорядковано й водойми. Річку Ліберція повернули у старе русло і зараз вона протікає довкола пагорба на якому височить замок.

-Герб Сас (Sas) – родини Даниловичів.-
-Іван (Ян) Данилович на Олеську (Jan Daniłowicz) (1570-1628) – крайчий великий коронний з 1600 року, каштелян львівський з 1612 року, воєвода руський з 1613 року, староста белзький, буський, корсунський, чигиринський. Дід короля Польщі Яна III Собеського.

-Герб Кривда (Krzywda) – родини Жевуських.

-Станіслав Жевуський (Stanisław Mateusz Rzewuski) (1662 – 1728) - великий коронний гетьман, воєвода белський і підляшський від 1726 року. Королівський полковник від 1690 року. Брав участь у молдовський експедиціях у 1686 та 1691 роках. У 1693 році був посланником у Крим, та Туреччину. В 1698 році брав участь у кампанії проти татар до Туреччини. В 1703 році брав участь у придушенні козацького повстання під проводом Семена Палія. У 1705 році брав участь у варшавській битві. В 1706 році став великим гетьманом польним. Після смерті Adama Mikoіaja Sieniawskiego у році 1726 році був призначений великим коронним гетьманом і воєводою підляшським. Кавалер Ордену Білого Орла. Помер в 1728 році у Львові.

-Вацлав Петро Жевуський (Wacław Piotr Rzewuski) (1706-1779) - великий коронний гетьман, польовий коронний гетьман, краківський каштелян від 1778 року, краківський воєвода від 1762 року, подільська воєвода від 1736 року, письменник, маршал надзвичайного сейму пацифікаційного у Варшаві в 1736 році. У 1732 році став польовим коронним письменником війська польського. Після виграної Augusta III Сансонця (короля Польщі) змушеним був виїхати за кордон. В 1735 році нагороджений Орденом Білого Орла. За панування Augusta III сакса був членом придворної старореспубліканської фракції. У 1737 році був маршалом Коронного Трибуналу в Любліні. У 1736-1750 роках і 1756-1762 був подільською воєводою. У 1752 одержав польову коронну булаву. У 1762 став краківською воєводою. Письменник-драматург.