Впервые упоминается в XIV веке. Некогда имение Жиличи принадлежало князьям Трабским. Затем перешло во владение Ходкевичей. Александр Иванович Ходкевич, владевший Жиличами во второй половине XV — первой половине XVI века, являлся воеводой новогрудским, старостой берестейским. Сын его Григорий Александрович в 1554—1555 годах занимал должность воеводы витебского. Принял в Заблудове печатников Ивана Федорова и Петра Мстиславца.
В начале XVII века Жиличами владели уже Сапеги, а в начале XIX — Булгаки. Именно Игнатий Булгак построил в Жиличах в 20-30-е годы XIX века дворец.
Булгаки были зажиточными землевладельцами – они и возвели на берегу реки Добосна внушительных размеров усадьбу с парком, скульптурами и всевозможными малыми архитектурными формами: бассейнами, мостиками, хозпостройками и другими сооружениями.
Дворец пережил две мировые войны и дошел до наших дней в отличном состоянии.