Budowla powstała w kilku etapach. Początki budowy sięgają przełomu XV i XVI wieku. Wtedy to z inicjatywy Jerzego Ilinicza wzniesiono zamek w stylu gotyckim. Około 1568 r. na mocy testamentu wnuka Jerzego Ilinicza przeszedł w ręce książąt Radziwiłłów. Wtedy dokonano modernizacji obiektu. Od tego czasu można podziwiać renesansowe piękno zabytku. Wzdłuż wschodnich i północnych ścian zamku powstał pałac. Gipsowe fasady zostały udekorowane wapiennymi portalami, płytami, balkonami i gankami. Budynek wielokrotnie był jeszcze przebudowywany i odbudowywany. Stało się tak za sprawą zniszczeń spowodowanych wojnami. Pierwotnie budowla posiadała pięć wież i był otoczona fosą. Grube na 3 m i wysokie na 13 m mury miały chronić jego mieszkańców przed najeźdźcami.

Cały zespół zamkowy położony jest na płaskim terenie. Z trzech stron otoczony jest fosą a z czwartej rozlewiskami rzeki Miranki.. Obok zamku znajduje się park z prawosławną kaplicą grobową Światopełek-Mirskich z 1904 r.