Выборгский замок основали шведы, построившие на острове стену во время крестового похода в конце XIII столетия. Она укрывала расположенную в центре главную башню, которая носила имя Святого Олафа и на тот момент являлась самой высокой на территории Скандинавии.

После неоднократных попыток новгородцев отвоевать потерянные территории и захватить крепость, в 1323 году был подписан мирный договор, по которому эти земли отошли к Швеции. В первой половине XV века шведский наместник Карл Кнутссон провёл значительную реконструкцию, превратив Выборгский замок в один из самых красивых и неприступных. Его дело было продолжено Эриком Аксельссоном и Стеном Стуре, чьи фамильные гербы долго украшали бойницы Райской башни.

Следующие значительные изменения произошли в середине XVI столетия. Так, по приказу короля Густава Васы осуществили дополнительное укрепление береговой линии, перестроили здания. Впервые при возведении главной башни использовали кирпич. Периодическая реконструкция проводилась вплоть до второй половины XVII века и была связана с совершенствованием артиллерии и необходимостью усилить как оборонительные свойства сооружений, так и огонь батарей крепости.

Во время Северной войны, в июне 1710 года, после двух месяцев осады войсками Петра I гарнизон крепости, получившей значительные повреждения, сдался. Замок и прилежащие территории стали русскими, однако после строительства на соседнем острове более стратегически важных оборонительных сооружений крепость утратила своё прежнее значение. Причиной последней масштабной реконструкции, проведённой в конце XIX века, стал пожар, уничтоживший большую часть сооружений. Выборгский замок официально признали непригодным к обороне.

В первой половине XX века крепость дважды переходила к Финляндии, но после освобождения территорий в июне 1944 года перешла к СССР, а с 1991 года вновь стала российской. С 1970 года здесь был открыт музей, который спустя 30 лет получил название Государственного музея «Выборгский замок».