Усадьбу Ясенево посещают родители Павла Гавриловича —оберпрокурор. Министр коммерции князь Гавриил Петрович Гагарин (1745—1808) и Прасковья Федоровна, урожденная Воейкова (1757—1801). Многие из знакомых А-Ф.Воейкова — издателя, автора знаменитой стихотворной сатиры «Дом сумасшедших» — становятся гостями его сестры и в столичном доме, в доме ее сына в Ясеневе. Брат Прасковьи Федоровны — Александр учился в Московском Благородном пансионе вместе с В.А.Жуковским и был женат на племяннице поэта. Литературные собрания в доме Воейкова пользовались успехом у москвичей. Вместе с Воейковыми Жуковский и Денис Давыдов не раз бывали в Ясеневе. Князья Гагарины вообще были близки к литературным кругам своего времени, некоторые из них (гаврила Петрович и Павел Гаврилович) и сами занимались литературным творчеством. Среди их знакомых были и Плетнев, Одоевский, Крылов, Вяземский, Пушкин, Чаадаев, Тургенев, а также живший в соседнем Троицком Тютчев. Предположительно, там же работал некоторое время В.Л-Боровиковский, написавший в 1801-1802 гг. портреты дочерей хозяев: Екатерины на фоне парка, а также Анны и Варвары с нотами и гитарой, хранящиеся ныне в Третьяковской галерее.
В 1805 году Лопухиной-Гагариной не стало. Овдовев, Павел Гаврилович поселился в Ясеневе. Возможность уединиться в доставшемся ему селе как нельзя больше отвечала душевному состоянию незадачливого супруга и его достаточно щекотливому положению в обществе. Здесь князь закончил популярную книгу «Тринадцать дней, или Финляндия». В 1812 году Павел Гаврилович на свои средства снарядил 23 крестьянина-ополченца.
Славившееся своим образцовым хозяйством, особенно яблоневыми садами и «земляничными огородами», Ясенево оценивалось после Отечественной войны 1812 года в 180 тысяч рублей.
Еще при жизни П.Г. Гагарина в 1818 году имение и село Ясенево перешли к дальнему родственнику П.Г.Гагарина — действительному тайному советнику и сенатору князю Сергею Ивановичу Гагарину (1777—1862), одному из основателей, а с 1844 г. президенту Императорского Московского общества сельского хозяйства.
Но Павел Гаврилович до конца своих дней бывал в Ясеневе. Более того, после тридцати лет вдовства он связал свою судьбу с М.И.Спиридоновой, в прошлом — балериной. Великосветское общество не приняло новой княгини, и она жила с мужем в Ясеневе, которое покинула вместе с дочерью только после смерти князя.
С.И.Гагарин (1777—1862) был женат на Варваре Михайловне Пушкиной (1774—1854) — двоюродной сестре матери поэта. Они имели пятерых детей, из которых трое умерли в младенчестве. В живых остались сын Иван и дочь Маша.
Сергей Иванович несколько перестроил усадебный ансамбль: флигели хотя и сохранили свои архитектурные формы, но были дополнены деревянными мезонинами, центральные их части были декорированы деревянными же четырехколонными портиками на высоту двух этажей; на барском доме появилась вышка бельведера.
С именем С.И. Гагарина связано приобретение Ясеневским храмом своего настоящего вида. Первоначально каменный храм состоял из одного (нынешнего восточного) кубовидного объема центрального придела. Он представлял собой бесстолпную кубическую церковь центрической композиции с 8-гранным барабаном, прорезанным 8-ю же окнами, и увенчанным куполом. Следующей ступенью в истории возведения храма стала двухэтапная его реконструкция, проведенная в период владения Ясеневым князя Сергея Ивановича Гагарина. В 1832 году «к холодной во имя Святых апостолов Петра и Павла церкви» был пристроен теплый придел во имя Святой великомученицы Варвары- небесной покровительницы жены помещика - Варвары Михайловны. По поводу этого придела в прошении священика Г.М.Боголепова от августа 1860 года сказано: «Придельный храм сей, не имея сводов, не прочен и по замеченному уклонению одной стены угрожает опасностью; колокольня входом в оную внутри сильно сужена и в постройке непропорциональна с храмом, то мы желаем переделать придельный храм с колокольней и для открытия хода в холодную церковь и большего удобства вместимости прихожан устроить в теплом приделе два престола, один во имя преподобного Сергия Радонежского Чудотворца, а другой во имя Велик. Варвары на церковную кошелковую сумму». По клировой ведомости за 1858 год Московского уезда Петропавловской, что в селе Ясеневе, церкви, показано: «...а диаконское место открыто в 1799 году; зданий, принадлежащих сей церкви, а равно и приписной и домовой церкви нет; приходских дворов при сей церкви разных владельцев 106, душ мужеска пола 439, женска 497».
Придел был разобран из-за покосившейся стены и непрочных сводов в начале 1860-х гг. в ходе реконструкции здания, выполненной по проекту художника Калугина. Придел собирались восстановить, но после смерти С.И. Гагарина, не дожившего до завершения работ, заменили другим приделом, во имя Параскевы Пятницы - покровительницы торговли. Одновременно колокольня была заменена новой, ныне существующей, и устроен придел Сергия Радонежского.
Пушкин
Часто звучало в доме Гагариных имя А.С. Пушкина, состоявшего в родстве с супругой хозяина. Почти от каждого из жителей и гостей Ясенева к Пушкину тянется нить дружеских отношений, общих дел, интересов, вместе прожитых дней.
Здесь бывал и шталмейстер князь Андрей Павлович Гагарин, женатый на правнучке Меншикова — Екатерине Сергеевне (1794—1835), «своей равнодушной княгине», которая — по выражению В.Л.Пушкина — «час от часу становится прелестнее». Андрей Павлович приносит с собой блеск пушкинской Москвы.
При Сергее Ивановиче в Ясенево также часто съезжались и гостили друзья и знакомые поэта. Сын Гагариных — Иван Сергеевич как-то привез Пушкину из Германии стихи Федора Ивановича Тютчева и в своей переписке с последним постоянно упоминал о встречах с Пушкиным, Вяземским, Жуковским. Через него П.Я.Чаадаев пересылает в октябре 1836 года «Философическое письмо». Иван Сергеевич Гагарин находился во время дуэли Пушкина в Петербурге и прощался с телом поэта. Его двоюродные братья — Евгений и Григорий Григорьевичи Гагарины также были близки с поэтом. Григорий Григорьевич — способный рисовальщик, будущий вице-президент Академии художеств, был известен как один из первых иллюстраторов произведений Пушкина. Еще при жизни поэта он делает рисунки к «Руслану и Людмиле», «Кавказскому пленнику», «Пиковой даме», «Песни о вещем Олеге»,»Пророку», «Сказке о царе Салтане». Известны дружеские отношения с Александром Сергеевичем братьев Василия и Федора Федоровичей Гагариных и их сестры — Веры Федоровны Вяземской.
Толстые
Сергей Иванович Гагарин с 1817 года служил в Москве в Опекунском совете. С ним в дружеских отношениях был также служивший в Совете подполковник князь Николай Ильич Толстой, который часто гостил в Ясеневе. В 1822 году Николай Ильич жил в соседнем имении Узкое у своего родственника П.А.Толстого и бывал у Гагарина. «20 июня (Мария Николаевна Волконская ездила к своему жениху в Ясенево», — писал М.П.Погодин в своем дневнике.
9 июля 1822 года в ясеневской церкви Петра и Павла состоялось венчание княжны Марии Николаевны Волконской и Николая Ильича Толстого, родителей будущего писателя Льва Николаевича Толстого и его сестры Марии Николаевны, будущей монахини Шамординского монастыря (окончившей там дни своей жизни схимонахиней Марией и похороненной на монастырском кладбище). Праздновать свадьбу молодые отправились в соседнюю усадьбу Знамеское-Садки, к матери невесты Екатерине Дмитриевне, сестре владельца усадьбы Ивана Дмитриевича Трубецкого. На свадьбу приехали и родственники жениха из соседнего Узкого. А 7 августа того же года все знаменское общество отдыхало на печальной лужайке между тремя аллеями перед ясеневским прудом под тем же старым ветвистым дубом, под которым сидел когда-то царь Петр I.
Сергей Иванович Гагарин
Среди многочисленных увлечений Сергея Ивановича Гагарина главным оставалось на протяжении всей его жизни сельское хозяйство, которым князь занимался серьезно и вдумчиво. Он участвовал в основании Императорского Московского общества сельского хозяйства, с 1823 года собыл его вице-президентом, а с 1844 года — президентом. В Ясеневе он завел образцовый сад, плодопеременное хoзяйство, тонкорунных овец. Дом был окружен зарослями сирени. Кусты сирени росли и вокруг прудов, ниспадая по склону террасами.
Само по себе Ясенево привлекало С.И.Гагарина прежде всего возможностью широкой постановки задуманных опытов. Здесь закладывались огромные оранжереи, опытные поля. Шестьдесят дворов с пятьюстами крестьянами, которые имело к тому времени Ясенево, вполне удовлетворяли потребности князя в дополнительной сельскохозяйственной рабочей силе.
Работы на ясеневских полях и в садах были прерваны смертью С.И.Гагарина.
Сын Сергея Ивановича, князь Иван Сергеевич Гагарин (1814—1862) в 1843 году оставил Россию. Во время пребывания в Париже в качестве секретаря посольства он принял католичество и вступил в орден иезуитов. В связи с этим Иван Сергеевич Гагарин потерял право на земельные владения в России, и они перешли его сестре Марии Сергеевне (1815—1902), в замужестве Бутурлиной. Муж Марии Сергеевны — Сергей Петрович Бутурлин, генерал от инфантерии, участник Турецкой и Крымской войн, а также экспедиции 1884 года по Северному Кавказу. Деятельность его была связана с обществом Красного Креста. Он умер в 1893 году.
Бутурлины
Таким образом, уже после отмены крепостного права, в 1862 году, усадьба Ясенево оказалась во владении Бутурлиных.
Еще до этого, Мария Сергеевна она привела в порядок усадебную картинную галерею, по мере сил атрибутировав часть работ. На оборотах некоторых картин появились трогательные надписи вроде следующей: «Мария Афанасьевна Сеньдюкова взята в дом бабушкой моей Натальей Абрамовной Пушкиной, рожд. кн. Волконской. Родилась, должно быть, в 1795 г. Жила с тех лет сперва у бабушки Наталии Абрамовны Пушкиной, потом у дочери ея и матери моей княгини Варвары Михайловны Гагариной, рожденной Пушкиной, теперь у меня, и видит пятое поколение нашего семейства: Наталью Абрамовну, бабушку, княгиню Гагарину, мать мою, меня и братьев и сестер моих, детей моих и, наконец, внучат моих, всех и старших и малых любила горячо и за всеми четырьмя первыми поколениями неотступно ходила, как за здоровыми, так и за больными. Писала Марья Бутурлина рож (денная) Гагарина 29-го Сентября 1872-го года в селе Ясеневе»Ниже кто-то из детей М.С. Бутурлиной впоследствии добавил несколько слов о дальнейшей судьбе М.А. Сеньдюковой: «Она скончалась в Москве 22 декабря 1879 г. в доме Бутурлиных на Знаменке» (ныне д. 12/2).