Одновременно были приняты меры по укреплению флота кадрами (в первую очередь партийными), при общем сокращении численности личного состава. Уже к 31 декабря 1921 г. личный состав РККФ сократился с 86,6 тыс. (на начало года) до 41,2 тыс. человек. Большую материальную, кадровую и политическую помощь флоту оказал его шеф – комсомол (шефство установлено V съездом РКСМ 16.10.1922). В ходе добровольных мобилизаций и плановых призывов на флот до 1928 г. пришло более 18,5 тыс. комсомольцев.
В начале 20-х гг. проводилась работа по обобщению опыта Первой мировой войны на море, а также уточнение роли и места флота в военной организации государства. Этому способствовали дискуссии: «Какой РСФСР нужен флот?» (в 1922), «Флот морской или флот воздушный» (в 1922–1923), содержание которых можно почерпнуть из работ М. С. Монакова.
Ставший в январе 1925 г. наркомом по военным и морским делам М. В. Фрунзе дал высокую оценку состоянию флота и перспективам его развития: «…Реввоенсовет твердо и незыблемо стоит на той точке зрения, что флот нам крайне необходим, что мы должны его развивать и дальше… В отношении боеспособности, в отношении улучшения командного состава нужно констатировать, что мы достигли многого, и эти наши достижения нужно развивать и двигать дальше». Вместе с тем после смерти Фрунзе и назначения наркомом по военным и морским делам К. Е. Ворошилова (ноябрь 1925), дискуссия о роли и месте флота в системе Вооруженных сил разгорелась с новой силой.
На основании собственного и зарубежного опыта военно-политическое руководство СССР пришло к выводу, что одним из решающих условий эффективного руководства ведением войны является единство военной доктрины и военной стратегии. Этот вывод лег в основу мероприятий по реформированию Вооруженных сил во второй половине 20-х гг. В целом правильная идея в тот период приобрела радикальные формы – группа влиятельных командиров во главе с начальником штаба РККА М. Н. Тухачевским призывала целиком передать руководство применением всех видов Вооруженных сил в руки армейского командования. Письменное оформление эти взгляды нашли в подготовленных в апреле 1926 г. штабом РККА «Соображениях по вопросу организации Морских Сил», которые шли вразрез с мнением моряков о необходимости сохранения ВМФ как самостоятельного вида Вооруженных сил. Борьба вокруг структуры и функций органов управления флотом завершилась тем, что 22 июля того же года был издан приказ РВС СССР, в соответствии с которым вместо ликвидируемого штаба РККФ создавалось Управление Военно-морских сил РККА. С 23 августа должность начальника управления и наморси занял видный политработник Р. А. Муклевич, никогда ранее на флоте не служивший. На УВМС РККА была возложена ответственность за боевую подготовку и материально-техническое обеспечение РККФ, комплектование и подготовку личного состава, контроль над реализацией планов строительства кораблей. Функции штаба РККФ перешли к Учебно-строевому управлению УВМС, которое возглавляли А. А. Тошаков и М. А. Петров (с августа 1928). Функции оперативного управления силами флота и планирование их развития и применения перешли к штабу РККА, в составе которого был сформирован морской (2-й) отдел. Фактически же наморси – начальнику УВМС приходилось решать и эти вопросы, поскольку специалисты морского отдела штаба РККА не являлись достаточно компетентными в данной области.
Оперативно-стратегическое обоснование и плановое задание к первой советской кораблестроительной программе было утверждено Советом труда и обороны (СТО) 26 ноября 1926 г. Утвержденная шестилетняя «Программа строительства Морских сил РККА на 1926/27–1931/32 гг.» отражала попытку моряков удовлетворить минимальные потребности флота в рамках весьма ограниченного финансирования. Первые работы по шестилетней программе начались уже в декабре 1926 г., в марте – апреле следующего года были заложены шесть подводных лодок, а в августе и октябре – восемь сторожевых кораблей. В 1926/27 и 1927/28 гг. расходы на флот составили 58 и 75 млн руб. соответственно, или 10,7 и 10,1 % от суммы общего военного бюджета СССР.
Следует подчеркнуть, что производство подавляющего большинства современных типов морского оружия, корабельных приборов и механизмов на тот момент в СССР либо отсутствовало, либо осуществлялось полукустарным способом. Попытки создания морских орудий, мин и торпед нового поколения силами отечественных специалистов в конце 20-х – начале 30-х г. дали неоднозначный, в основном отрицательный, результат. Судостроительная промышленность осуществляла программу коммерческого судостроения и на РККФ работала мало. Ввиду сложившегося положения приборы и механизмы для нового строительства и поддержания в исправном состоянии даже небольшого количества находившихся в строю флота кораблей приходилось приобретать за валюту за границей, что вызывало дополнительную напряженность в отношениях УВМС с РВС СССР и штабом РККА.
1 ноября 1928 г. Управление ВМС направило заместителю Председателя РВС И. С. Уншлихту доклад «Состояние Военно-морских сил РККА», в котором подводился итог возрождению флота. Флот имел твердую организационную структуру, восстановленный корабельный состав, в основном укомплектованные кадры командиров и младших специалистов, приступил к плановой учебно-боевой подготовке по отработке поставленных задач. В боевой состав ВМС РККА входили корабли различных классов, в том числе 3 линкора, 4 легких крейсера, 17 эсминцев, 14 подводных лодок. Все они были заложены до 1917 г. по проектам, разработанным до начала или в начале Первой мировой войны. Морская авиация включала ВВС Балтийского моря (31 самолет) и ВВС Черного моря (48 самолетов). Береговая оборона Балтийского моря имела 91 орудие калибра 75–305 мм и 22 зенитные пушки, Черного моря – 76 орудий калибра 120–305 мм и 24 зенитные пушки. В состав береговой обороны входили также стрелковые части, инженерные подразделения и СНиС. Запасы морских боеприпасов было сложно назвать большими. На всех морских театрах и центральных складах на 1 января 1931 г. насчитывалось 89 533-мм и 740 450-мм торпед, 500 мин образца 1926 г. и 14,5 тыс. дореволюционных образцов, 20 больших и 2700 малых глубинных бомб.
Проверкой на зрелость молодого РККФ стало участие в военном конфликте с Китаем на Китайской восточной железной дороге (КВЖД) в 1929 г. Силы Дальневосточной военной флотилии (командующий Я. И. Озолин) разгромили китайскую Сунгарийскую речную флотилию и десантами захватили города Лахасуссу и Фугдин. За активное участие в разгроме китайских милитаристов постановлением ЦИК СССР ДВВФ была награждена орденом Красного Знамени, а 59 моряков удостоены высоких правительственных наград. Тем не менее военно-политическое руководство СССР отдавало себе отчет в том, что по своему боевому составу РККФ был способен к активным действиям только в операционной зоне своих военно-морских баз. Он мог в случае войны успешно противостоять силам сопредельных государств, но при появлении на Балтийском и Черном морях кораблей ведущих мировых держав ориентировался на оборонительные действия с опорой на минно-артиллерийские позиции.
В 1927–1930 гг. УВМС пришлось пережить период довольно напряженной борьбы с командованием Красной армии, стремившимся распределить ассигнования на строительство Вооруженных сил в предстоящей пятилетке по максимуму в свою пользу. Разногласия между двумя ведомствами вынудили руководство Наркомата по военным и морским делам созвать 8 мая 1928 г. специальное расширенное заседание Реввоенсовета. Председательствовал на нем К. Е. Ворошилов, с основными докладами выступили М. Н. Тухачевский и М. А. Петров. По итогам обсуждения было принято постановление, определившее характер развития ВМС РККА на десятилетие вперед. Оно внесло определенность в отношения между руководством армии и флота и послужило началом утверждения концепции так называемой малой войны на море как основы официальных взглядов на строительство и применение Военно-морских сил. В принятом постановлении Реввоенсовета указывалось: «При развитии военно-морских сил стремиться к сочетанию надводного и подводного флотов, береговой и минно-позиционной обороны и морской авиации, отвечающему характеру ведения боевых операций на наших морских театрах в обстановке вероятной войны». Таким образом, официально принятая концепция строительства ВМС РККА предусматривала создание сбалансированного флота, состоящего из кораблей всех классов, авиации и береговой обороны. Позже основные положения данной концепции нашли отражение во введенном в действие в феврале 1930 г. Боевом уставе Военно-морских сил РККА (БУ-30). Он стал первым в истории отечественного ВМФ нормативным документом, в котором излагались единые требования и рекомендации по подготовке и ведению морского боя, а также основы подготовки и ведения совместных с армией и самостоятельных операций.