21 июля 1844 года у Ивана Ивановича и Варвары Сергеевны родился сын Владимир. Крещение происходило в Московской Крестовоздвиженской церкви, что в Алексеевском девичьем монастыре.
8 марта 1860 года умирает вдова генерал-майора, княгиня Елизавета Ростиславовна Вяземская, в 1864 году уходит из жизни её зять – И.И. Ершов. После их смерти хозяйственные дела по имению Воробьево легли на плечи Варвары Сергеевны Ершовой. Дочь Мария, в начале 1860-х годов вышла замуж за Константина Никанорыча Хитрово и жила с мужем отдельно от семьи Ершовых. Сын Владимир был занят карьерой. Варвара Сергеевна всем занималась сама.
Помимо управления имениями ей пришлось рассчитываться по долгам мужа. Еще в 1863 году И.И. Ершов взял в долг, под залог своего имения 21 тысячу рублей. Из-за этого на все Подольское имение Ершовых было наложено запрещение. Деньги, взятые в долг, пошли на развитие хозяйства, так как уже при Иване Ивановиче имение в Воробьеве становится одним из лучших хозяйств в Подольском уезде. Те времена не позволили донести до нашего потомства многие фото наших героев. Пользовались при случаях творчеством тогдашних художников.
Семья художника Поленова В.Д. и друзья, бывая в соседнем Меньшове, часто гостили в летнее время в
усадьбе Воробьёво.
Из письма Василия Дмитриевича: : «…Максимов написал картину, называется: «Все в прошлом». Старушка-помещица сидит и мечтает у крыльца … в старом кресле. (Немножко похожа на Варвару Сергеевну)».
Конечно, великий художник имел в виду Варвару Сергеевну Ершову – в кресле на фоне усадебного дома Трубецких в Меньшове.
Наиболее развитым хозяйство в землях семейства Татищевых-Ершовых становится при Владимире Ивановиче Ершове – сыне тогдашней хозяйки Воробьёво.