Старе Село колись було навіть містечком. Перші згадки про нього датують 1442 р. Ще в княжі часи Старе Село входило до оборонної лінії удільного князівства з центром у Звенигороді, де стояв княжий замок. Звенигородський замок не зберігся, проте частково залишився замок у Старому Селі.
Село входило в уділ князя Давида, того самого, що осліпив князя Василька. Давид же заснував сусіднє село Давидів, а тут було поселення Черепнисько, пізніше Черепів, а згодом — село Черепин. 1401 р. південно-східну частину давнього Черепова — Черепинку (саме тут і виникло Старе Село) отримав у володіння Завіша Чорний з Гарбова за заслуги від короля Владислава II Яґайла. Згодом він відступив цю частину села синові Янові з Гарбова, яку вже тоді називали Старим Селом. Ян же у 1448 р. переселяє сюди зі своїх маєтків багато родин і називає цю частину села містечком Гарбовом. 1454 р. він заснував римо-католицьку парафію, а у 1498 р. містечко зруйнували турки.
На початку XV ст. селом володів Ян Тарнавский — великий гетьман коронний, донька якого — Софія — принесла Старе Село в посаг князеві Василю Костянтину Острозькому. За нього була вже церква Усікновення Глави Св. Івана Хрестителя. Син Януш, який прийняв католицьку віру, відновив місцевий костел. Донька Януша — Єфросина — вийшла заміж за князя Олександра Заславського, на якого й перейшов титул князів Острозьких. Їхній син, Владислав Домінік, князь Острозький і Заславський, у 1642 р. розпочав будівництво замку. 1648 р. замок здобули козаки Богдана Хмельницького. Однак Заславський вже наступного року повністю відновив замок.
Пізніше замок переходив з одних рук до інших і сильно занепадав. Лише Синявські (на поч. XVIII ст.) його відреставрували і перед наступом шведів перенесли сюди арсенал зі Львова. Замок укріпили гарматами і моздірами. Однак, після 1731 р., перейшовши до Чарториських, замок сильно занепав. Руйнуватися він почав з 1809 р., коли став власністю магнатів Потоцьких. Так і стояв замок півтора століття без жодного догляду, оскільки замкову резиденцію перетворили на броварню, винокурню, різні склади тощо. Але треба віддати належне міцності цих стін. За словами Бориса Возницького, ще за його пам’яті в приміщенні замку Старого Села діяв клуб, демонструвалися фільми. Унікальну споруду з оборонними мурами з каменю і цегли до 16 м заввишки і 2 м завширшки з периметром у 500 м, замок, що колись надійно прикривав Волоський шлях, передали заготконторі.
Стіни замку збереглися порівняно непогано. Він займає площу 2 га. З шести башт залишилися три, на стінах де-не-де трапляються бійниці. Башти трохи вищі від стін. Цим досягається особлива монолітність всієї споруди. Дуже приваблива східна башта, завершення якої вирізьблено з каменю у вигляді розгорнутої корони. З XVIII ст. побудовано браму від заходу. На вежі — герб з літерами WDXOYZWSLS (Владислав Домінік, Князь Острозький і Заславський, Воєвода Сандомирський, Луцький Староста). Колись замок був оточений валами і глибоким ровом. До нього вела дорога через болота, греблю. Це один з найбільших замків в Україні. Хоч і дуже поруйнований, але ще можна здогадатися, що він був і одним з найкращих замків, споруджених у ренесансному стилі. Зараз замок порожній, хіба що часом оселяються у ньому циганські табори. Місцеві жителі ж потроху розносять замкове каміння для своїх будов…