​​Новое здание Дворца было построено при графе Петре Борисовиче вовсе не на пустом месте. До того здесь стояли старые хоромы, в которых бывала еще императрица Елизавета Петровна.

Старое здание неоднократно перестраивалось. Сохранилась инструкция Ф. Звереву на 1750 год: "Большие хоромы в верхнем этаже, что есть неотделанного столярной и прочей работы то все отделать и в большом зале где невы правлено красками поправить и чтоб до хором в достройке ничего чужого и неотделанного не осталось и окончены в верхней галлерее чтоб все были вставлены...".

И эти хоромы не были новым домом, они были построены на месте старого, части которого также вошли в обновленное строение. В течении нескольких лет строители еще занимаются укреплением и обновлением ветхих элементов старого здания. Петр Борисович опасался, что "хоромы от тягости или от ветхости оседать и кривиться будут".

Как выглядели старые хоромы можно увидеть на Генеральном проспекте подмосковного села Кусково от Большого пруда 1760-х годов.

Перестройка нового дома на основании старых хором, очевидно, было не самой удачной идеей. В таком виде дом просуществовал до 1770-х годов, когда его было решено капитально перестроить.