По летописной легенде, великий князь литовский Гедимин после успешной охоты обнаружил прекрасное место недалеко от города Кернаве, решил воздвигнуть на нём замок и перенести сюда столицу. Во второй половине XIV века здесь, в Старых Троках, уже стоял каменный замок. Правил им в 1337—1382 сын Гедимина трокский князь Кейстут. Около 1350 года в этом замке родился Витовт. В 1375 году Кейстут перенёс свою столицу из Старых Трок в защищённые озером Новые Троки, где был построен Полуостровной замок. Замок в Старых Троках в 1391 году был разрушен и больше не восстанавливался. Участок земли с остатками замка Витовт в 1405 году подарил монахам бенедиктинцам. Монастырь стоит на старом замчище. Трокский Полуостровной замок был построен Кейстутом в 1370-е годы. Он был разрушен во время междоусобиц 1382—1383 годов и вновь отстроен лишь в конце правления Витовта. Трокский Островной замок был окончен в 1409 году. Он был мощнейшим и наиболее величественным во всем Великом Княжестве Литовском. Это была одна из самых неприступных крепостей во всей Восточной Европе: ни разу за всю историю врагам не удалось его завоевать. Островной замок сразу стал основной резиденцией великого князя Витовта. После Грюнвальдской битвы 15 июля 1410 года замок утратил своё военное значение, так как основной противник Великого княжества Литовского — Тевтонский орден — был разгромлен. В это время замок переживал период своего расцвета. Роскошные приемы и пиры устраивались в честь иностранных послов и высоких гостей, съезжавшихся в замок со всей Европы. В Островном замке 27 октября 1430 года умер Витовт. К концу XVI века Троки постепенно отступают на задний план в политической жизни страны. Расположенность вдали от главных торговых путей привела город к экономическому упадку. Вскоре Троки становятся местом ссылок неугодной знати, а замок использовался как тюрьма. После войны с Москвой 1655—1660 годов развалины заброшенного замка постепенно разрушались.
