В деле остаются Алексей и Герасим.

Начиная с 1863 года, несмотря на реформу и прилив рабочей силы из деревни, происходит спад в развитии промышленности. Война Севера и Юга в Америке создает неопределенность и застой в экономической жизни. В 1858 году, а затем в 1867 году происходит понижение тарифа. Многие предприятия разоряются, некоторые переходят к новой деятельности - организуются банки, строятся железные дороги, но и здесь возможны крупные неудачи, как, например, падение ссудного банка. Хлудовы терпят большие убытки сначала в Америке во время войны 1863-1864 годов, потом потерпело крах колониальное дело, затеянное фирмой "Алексей Хлудов и Сыновья" с целью вывоза хлопка и шелка из только что покоренной Средней Азии. Но, несмотря на эти потери, они выстояли, только Алексею Ивановичу пришлось расплачиваться миллионными суммами за неудачи своих сыновей.

И все же богатство не было самоцелью семьи. Настойчиво проявляли себя интеллектуальные интересы. На первых порах это была сопричастность искусству в той или иной форме. Братья были страстными любителями музыки. Давыд собирал у себя известных в Москве певцов. В его доме звучало их пение, и сам он пел. В семье Алексея Ивановича все дети играли на музыкальных инструментах. Позже в его доме бывали музыканты - профессора консерватории. Герасим Иванович страстный театрал. Он не пропускал ни одного интересного концерта и спектакля. Его памятная книга открывает значительный период театрально-концертной жизни Москвы. Она заполнена восторженными впечатлениями от игры Рубинштейна, Листа, Полины Виардо, и многих других.

Даже эти семейные и личные пристрастия опровергают созданную писателями - тем же Островским - картину жизни купечества, ограниченную узкими "купеческими интересами". Не стоит забывать, конечно, что это уже другое, новое купеческое сословие - промышленники-Фабриканты, а с ним вновь нарождающееся общество.

Естественно, что с дворянством никаких связей не было. Обедневшее дворянство благородное, но бездеятельное, смотрело свысока на разбогатевших купцов из простонародья и не считало возможным быть с ними на равных. Существовали два мира, независимые друг от друга и самостоятельно развивающиеся. Дворянская литература высмивала купечество, ноходя только темные стороны в их жизни, а они, конечно, были. Тем не менее, невзирая ни на что, купечество рвалось к знанию, стремилось к накоплению культурных ценностей в форме коллекций картин, икон, фарфора, старинных книг, к меценатству, создавало свой новый быт и круг знакомств.

Купеческие балы в отличие от дворянских, происходившисх к тому времени в здании Благородного собрания, устраивались в собственных домах, известных всей Москве 40-х годов. У Борисовских - на Большой Дмитровке, где теперь Генеральная прокуратура, у Корзинкина, "гостеприимца и хлебосола подобно старинным вельможам и боярам", у Алексеевых, давших России Станиславского, у Хлудовых - в Тупике, а позже у Герасима Ивановича - в изумительной городской усадьбе "Высокие Горы", у Матвеева - в Лефортове, в доме, посторенном арх. Бове. Балы собирали по 200-300 человек, в кадрили шли 100 пар, устраивались иллюминации, играли специально приглашенные оркестры. Дома были в стиле лучшей классической архитектуры, а позже - самые современные, в стиле модерн, построенные Шехтелем для Морозовых и Рябушинских, а не какие-то никому не ведомые, называемые для унижения "купеческими".

Круг знакомств в купеческой среде складывался на поприще общественной деятельности и в совместных поездках по России и Европе. Г.И.Хлудов едет в Крым с известным издателем и меценатом Солдатенковым, в Европу с англичанином Кноппом, неоднократно отправляется в Петербург с разными делегациями.

А вот женщины в купеческих семьях были изолированы, и положение их было зависимое и далеко не веселое. Чаще всего молодую девушку выдавали замуж по сватовству, деавали приданое, и на этом дело заканчивалось. Именно в этом проявлялась наша азиатская отсталость. Заключение браков происходило по расчету. Стремились к укреплению рода, установлению связей между именитыми фамилиями. Сестры Широковы оказались связующим звеном между Хлудовыми и Морозовыми.