Особняк Барятинских был преподнесен императором Николаем II в качестве свадебного подарка сестре Ольге, младшей дочери императора Александра III, и ее супругу – принцу Петру Ольденбургскому.
Принц Петр Александрович Ольденбургский был единственным ребенком в семье князя Александра Ольденбургского и Евгении Максимилиановны, урождённой герцогини Лейхтенбергской. Его мать была внучкой императора Николая I, а отец — правнуком царя Павла I.
В 1901 году женился на дочери императора Александра III Великой Княгине Ольге Александровне. Брак этот был бездетным и неудачным. Супруги развелись в 1916 году.
В чине генерал-майора командовал полком стрелков Императорской Фамилии. После февраля 1917 года ушёл в отставку и поселился в своем имении в Воронежской губернии. С началом красного террора вместе с отцом и матерью бежал во Францию, где жил в Париже и на ферме под Байонной. В 1922 году женился на Ольге Владимировне Серебряковой (1878—1953), урожденной Ратьковой-Рожновой. Занимался литературой и под псевдонимом «Пётр Александров» опубликовал в Париже три рассказа из народного быта. Иван Бунин в эмиграции часто общался с принцем Ольденбургским и после его смерти от скоротечной чахотки в 1924 году написал о нём очерк. Похоронен в крипте Михаило-Архангельской церкви в Каннах.
Ольга Александровна Романова — Великая княгиня, младшая дочь императора Александра III Александровича и императрицы Марии Фёдоровны — после Николая, Александра, Георгия, Ксении и Михаила.
В 1901 году вышла за герцога Ольденбургского. Брак был неудачным и окончился разводом. Впоследствии Ольга Александровна вышла за Николая Куликовского. После падения династии Романовых, уехала в Крым с матерью, мужем и детьми, где они проживали в условиях, близких к домашнему аресту. Её брат с семьей были казнены революционными властями. В 1925 году в Берлине встречалась с самой известной лже-Анастасией — Анной Андерсон.
Одна из немногих членов Императорской семьи, спасшихся после большевистского переворота; жила в Дании, затем Канаде, пережила всех прочих внуков (внучек) императора Александра II. Как и отец, она предпочитала простую жизнь. Ольга Александровна написала более 2000 картин, доходы от продажи которых позволяли ей поддерживать семью и заниматься благотворительностью. Умерла в возрасте 78 лет, семь месяцев спустя после смерти старшей сестры Ксении.