14 января 1848 года в его жизни произошло важное событие: он вступил в брак с совсем юной, семнадцатилетней дочерью помещика Смоленской губернии Надеждой Филаретовной Фроловской, которая стала ему верной опорой и поддержкой на всем их совместном жизненном пути. Брак этот был счастливым; свидетельством тому стали и их одиннадцать детей, воспитанию которых Надежда Филаретовна отдавала все свои душевные силы и энергию.
Продвижение Карла Федоровича по службе шло медленно. Работа в казенном ведомстве, буквально сковывавшая чиновничьей рутиной по рукам и ногам любую инициативу, мало удовлетворяла энергичного инженера. Однако он вряд ли бы самостоятельно решился порвать с казенной службой, опасаясь поставить семью в трудное положение, если бы его жена решительно не настояла на его уходе.
В 1860 году фон Мекк по настоянию жены оставил государственную службу, чтобы заняться предпринимательской деятельностью. Это был смелый и во многом рискованный шаг, сыгравший, впрочем, решающую роль в дальнейшей судьбе их семьи.
Уход Карла Федоровича со службы совпал с началом развертывания в стране широкого железнодорожного строительства.
Попытки постройки первых казенных железных дорог в России в 30–40-е годы XIX века не увенчались успехом. Строительство шло крайне медленно, увязая в чиновничьей рутине. И тогда, чтобы провести в жизнь программу широкого железнодорожного строительства, в стране было принято решение опереться на частную инициативу. Решающими в судьбе железнодорожного предпринимательства явились Указ императора Александра II от 27 января 1857 года о создании в России сети железных дорог и утвержденные осенью 1857 года договора о передаче казенной Варшавско-Венской железной дороги и прав на строительство связанных с ней ветвей и новых железных дорог в руки частной компании.
Начало предпринимательской деятельности К. Ф. фон Мекка было связано со строительством линии Москва — Коломна Обществом Саратовской железной дороги. Это было одно из первых обществ с широким участием представителей отечественного капитала. Образовано оно было в 1856 году. Инициатором создания общества стал генерал-адъютант С. А. Юрьевич. Акционерами общества были Великие князья Александр, Владимир и Алексей и даже наследник-цесаревич Николай Александрович, а также многие придворные лица. Проект железной дороги оказался настолько привлекательным, что вызвал интерес и за рубежом. В состав учредителей вошел вице-президент Совета бельгийских железных дорог, почт и телеграфа Брауэр де Гогендорп. Уже после утверждения 17 июля 1859 года устава общества в число его учредителей были приглашены также московские коммерсанты К. Т. Солдатенков, Ф. М. Вогау, Г. А. Марк и представители фирмы «Братья Сапожниковы».
Главным директором был избран бельгиец Брауэр де Гогендорп, главным секретарем — Павел Григорьевич фон Дервиз. Правление общества «помещалось в Москве, в Кривом переулке, в доме Мейера». Финансовую основу общества составил гарантированный правительством акционерный капитал в 45 миллионов рублей серебром, и оно взяло на себя обязательство построить в течение шести лет одноколейную дорогу от Москвы до Саратова через Коломну, Рязань, Моршанск длиной в 725 верст.
Строительство линии Москва — Коломна началось 11 июня 1860 года.
Первый участок дороги Москва — Коломна, протяженностью в 117 верст, был построен очень быстро, всего за два года. Большая заслуга в успешном окончании строительства принадлежала фон Мекку. Здесь он впервые в полной мере проявил свои способности организатора и инженера, а также честность и обязательность в ведении дел. Он постоянно говорил, что «честность в расчетах — это тоже коммерция».
Тем не менее после ввода первого участка дороги дальнейшее ее строительство было приостановлено ввиду отсутствия средств, а в 1863 году обанкротившееся общество было ликвидировано. Вместо него в том же году возникло Общество Московско-Рязанской железной дороги. Председателем правления общества был избран П. Г. фон Дервиз. Основной капитал нового общества был определен в 15 миллионов рублей.
Фон Дервиз высоко оценил профессионализм фон Мекка. Кроме того, он близко сошелся с ним и не раз потом использовал его широкие связи и знакомства в Министерстве путей сообщения. Именно поэтому он предоставил Карлу Федоровичу оптовый подряд на строительство нового участка дороги от Коломны до Рязани протяженностью в 79 верст.
К строительству второго участка дороги (Коломна — Рязань) приступили с весны 1863 года. Работы шли очень быстро и успешно благодаря энергии и распорядительности Карла Федоровича, ставшего к тому времени инженером-подполковником. В результате меньше чем через полтора года стало возможным открыть движение до Рязани, соединив этот город с Москвой. Остряки по этому поводу шутили: «Если Магомет нашел в Мекке свою погибель, то фон Дервиз — свое спасение».
Линия Москва — Коломна — Рязань стала одной из самых доходных в России. Фон Мекк приобрел на сооружении этой дороги репутацию высокопрофессионального строителя и инженера. Строительство линии Коломна — Рязань знаменательно и тем, что оно положило начало баснословному состоянию как фон Дервиза, так и фон Мекка. Оба компаньона заработали на строительстве железной дороги огромную сумму — 1,5 миллиона рублей. По другим сведениям, фон Мекк получил около 1,5 миллиона «барыша», а еще больший «учредительский куртаж» остался в кармане концессионера фон Дервиза. Благодаря тому, что действительная стоимость строительства каждой версты дороги не превышала и 40 тысяч рублей, вместо утвержденных по смете 62 тысяч рублей фон Дервиз и фон Мекк, используя эту разницу, сумели хорошо заработать на сделке. А за досрочное открытие моста через Оку Карл Федорович получил еще дополнительно 40 тысяч рублей.
Своеобразным Рубиконом в истории железнодорожного строительства в России в 60-х годы XIX века стало строительство Рязанско-Козловской железной дороги. Концессия на продолжение строительства Московско-Рязанской железной дороги до Козлова была сдана опять-таки статскому советнику фон Дервизу. Устав нового общества был утвержден 12 марта 1865 года. Оптовым подрядчиком строительства вновь был выбран Карл Федорович фон Мекк, руководивший всеми работами.
Основной капитал общества был определен, согласно уставу, в 15 миллионов рублей, из которых акционерный капитал составлял 5 миллионов, а облигационный — 10 миллионов. Обращает на себя внимание, что стоимость строительства дороги была сильно и, по-видимому, искусственно завышена: по некоторым оценкам, чуть ли не вдвое. По существу, для постройки дороги был использован лишь облигационный капитал, а акционерный капитал остался чистым «барышом» руководителей дела, причем гарантированным правительством.
Как видим, дело было поставлено так, что фактически железная дорога строилась на государственные средства, а управление же всем железнодорожным делом было отдано энергичным частным предпринимателям почти в бесконтрольное владение.
От Рязанско-Козловской железной дороги берут свое начало и так называемые «фиктивные» акционерные компании, которые стали удобным орудием в руках фон Дервиза и идеальной ширмой для различных манипуляций с капиталом и ценными бумагами. Он не только имел возможность присвоения большой части финансовых средств за счет удешевления строительства и с помощью других махинаций, но и становился фактически полным ее хозяином после сдачи в эксплуатацию. Широко использовал этот способ при реализации полученных им концессий и фон Мекк.