В 1775 году Екатерина II выделила графу Румянцеву землю и средства для постройки собственной резиденции. Проект долго разрабатывался, а непосредственное строительство началось в 1785 и продлилось до 1794. За внешний вид здания отвечали русские архитекторы, учившиеся у мастеров за рубежом. Они вдохновлялись итальянскими дворцами знаменитого зодчего Андреа Палладио.