Место, где сейчас находится усадьба Остафьево, известно по документам начала XVII века. Тогда оно носило название "Климово, Нечаево тож". В 1674 году в этих местах появился владелец "полуголова Московских стрельцов Родион Григорьев сын Остафьев", вероятно, ему будет обязана эта земля своим названием. Под современным названием усадьба стала упоминаться лишь со второй половины XVIII века, когда произошло ее слияние с деревней Остафьево. До этого хозяевами усадьбы были дворяне: Маловы, Пивовы, Минины, Ляпуновы, Львовы, Бартеневы, Голицыны, Апраксины.
Прокопий Ляпунов - политический деятель. В 1610 году он организовал свержение Василия Шуйского, а после занятия Москвы польскими войсками возглавил формирование первого ополчения и был его командующим. Бартеневы - стрелецкий род. Львовы - дьяки, близкие к царскому двору. Петр Апраксин - граф, государственный деятель, сподвижник Петра I, участник русско-шведской войны. Князь Яков Голицын - внук воспитателя Петра I Бориса Голицына. Шли годы, многое изменилось в сельцах и деревнях.
Имя купца Козьмы Матвеевича Матвеева в России известно с первой половины XVIII века. Он предприниматель, фабрикант и промышленник, родом из Тульской губернии, основатель различного вида производств суконного, красочного, сургучного в Москве и других городах. После специального Указа, разрешающего купцам покупать к своим фабрикам деревни с крестьянами, Козьма Матвеевич неоднократно обращался с просьбой к императрице Елизавете Петровне, купить ту или иную деревню. Так в 1751 году Матвеев купил у князя Голицына его имение в Остафьеве. К.М.Матвеев и его компаньон П.И.Сухарев в 1752 году открыли здесь красильное заведение. Петр Иванович Сухарев был гениальный изобретатель-самоучка, открывший секрет изготовления редких красителей, они не уступали по качеству заграничным и были необходимы для расцвечивания отечественных тканей. Купец Козьма Матвеев был не менее талантлив. Он рано заслужил доверие правительства, отдавшего ему в 1742 году на откуп таможенные сборы в Нижнем Новгороде, а с 1747 года и табачный сбор. В Курской губернии у Матвеева была своя суконная фабрика, а на Урале он разделял пай с П.И.Паниным на железоделательный завод. К 1750 году у Матвеев владел сургучной и красильной фабриками в Москве, а затем он стал собственником фабрики, производившей печные изразцы. Ему, как лицу, не принадлежавшему к высшим сословиям, было дано исключительное право на приобретение "деревень" - земли и 500 душ крестьян сельца Климово и деревни Остафьево - это давалось с целью обеспечения мануфактуры рабочей силой на строго оговоренных условиях. В 1754 году Матвеев выслужил звание коллежского советника, приравнявшее его к дворянскому сословию. В 1756 году он становится единственным владельцем и, почувствовав себя "дворянином", взялся за переоборудование усадьбы. На рубеже 1750-1760-х годов он капитально отстраивает Остафьево. И созданный ансамбль определил главные черты пространственной структуры всей будущей композиции усадьбы, старая липовая аллея играла в ней определяющую роль.
Одновременно Матвеев планирует строительство нового храма, но осуществить задуманное не успел. А в 1779 году его вдова Анисья Григорьевна Матвеева обратилась в Синод с прошением о начале строительства церкви в деревне Остафьева, на освященной земле, и о перенесении праха Матвеева и его детей к этой церкви из соседнего сельца Рязаново. Строительство церкви в деревне Остафьево было закончено в 1782 году, ее освятили во имя Святой Троицы с престолом святого великомученика Георгия. И деревня стала называться селом.
Следующий этап в развитии усадьбы будет связан с именитым родом князей Вяземских, при них в Остафьеве будет построен главный дом, разбит парк. С этими именами усадьба приобретет славу "Русского Парнаса".