Летний дворец был построен в стиле Петровского барокко по проекту Доменико Трезини в 1710—1714 годах. Это одно из старейших зданий города. Двухэтажный дворец достаточно скромен и состоит всего из четырнадцати комнат и двух кухонь.

Резиденция предназначалась для использования только в тёплое время года — с мая по октябрь, поэтому стены в ней достаточно тонкие, а в окнах — одинарные рамы. Отделка помещений была создана художниками А.Захаровым, И.Заварзиным, Ф.Матвеевым.

Фасад дворца украшен 29-ю барельефами, на которых в аллегорической форме изображены события Северной войны. Барельефы выполнены немецким архитектором и скульптором Андреасом Шлютером.