Коссовский дворец поражает своими масштабами. Здание состоит из центрального двухэтажного корпуса и двух крыльев. Каждая из 12 башен замка символизирует месяц года. Четыре центральные — это май, июнь, июль и август. Во дворце было 132 комнаты. Система коридоров и оконных проемов способствовала тому, что на протяжении двух с половиной дней в году солнечный свет заливал один из покоев.
У каждой комнаты было свое название: белая, золотая, черная, голубая, и они были не похожи одна на одну. Дворец был богато украшен гобеленами, картинами, фресками. Его изюминкой, как гласит легенда, был стеклянный пол в Парадном зале, под которым размещался аквариум с рыбками.
Самый распространенный миф — наличие подземного хода между Коссовским дворцом и резиденцией Сапегов в Ружанах. Говорят, тоннель был шириной в карету и длиной 25 километров. Правда это или нет, никто не знает. Зато доподлинно известно, что с пригорка, на котором стоит замок, открывается лучший вид на урочище Меречевщина.