Поэтому в начале 1932 года по предложению Артузова было решено перестроить разведывательную работу за рубежом. Ввиду острой нехватки квалифицированных кадров Артузов поставил перед руководством ОГПУ вопрос об организации специальных курсов для подготовки и переподготовки разведчиков. Эти курсы, рассчитанные на 25 человек, комплектовались специально подобранными оперативными работниками ОГПУ. Предпочтение отдавалось лицам, имевшим опыт оперативной работы и владевшим иностранными языками. Создание курсов способствовало дальнейшему повышению уровня разведывательной работы за рубежом.
По указанию Артузова в 1932 году была проведена коренная реорганизация работы разведки в Германии, сочетавшая ведение разведки с «легальных» и нелегальных позиций. На базе нелегальных групп были организованы крупные нелегальные резидентуры, которым поручалось подготовить условия для разведывательной работы на случай войны. Этими резидентурами руководили видные разведчики-нелегалы Василий Зарубин и Федор Парпаров. В 1932 году резидент ОГПУ в Берлине Борис Берман и начальник германского отделения ИНО ОГПУ Отто Штейнбрюк предложили создать за пределами Германии две подрезидентуры, в которых по мобилизационному плану Центра во время войны могли бы обосноваться нелегалы для руководства своей агентурой в Третьем рейхе, где, судя по всему, не осталось бы советских представителей.
Проведенная Артузовым работа по улучшению разведывательной деятельности принесла свои плоды. К началу 1933 года внешняя разведка создала в Германии надежный агентурный аппарат. Ею были приобретены такие ценные источники, как сотрудник гестапо Вилли Леман («Брайтенбах»), снабжавший резидентуру не только контрразведывательными, но и разведывательными материалами. Именно от него в середине 1930-х годов были получены данные об испытании в Германии неуправляемых ракет ФАУ-1. Занимая пост начальника отдела по борьбе с «коммунистическим шпионажем» в Германии, он предупреждал резидентуру о готовившихся гестапо провокациях против советских представителей.
В 1933 году «легальная» резидентура ОГПУ в Берлине, руководимая Борисом Гордоном, а также нелегальные резидентуры вели активную разведывательную работу, добывая цепную информацию по всем направлениям деятельности. От источников этих резидентур, имевших доступ к секретным документам МИД Германии, других министерств и ведомств, люфтваффе, руководства национал-социалистской партии, полицай-президиума, гестапо и т.п., поступала ценнейшая информация о планах и намерениях гитлеровцев в отношении нашей страны и Европы в целом.
В 1932 году к сотрудничеству с внешней разведкой были привлечем Арвид Харнак («Корсиканец»), ставший позднее имперским советником в Министерстве экономики, Харро Шульце-Бойзен («Старшина») — сотрудник разведывательного отдела ВВС, Адам Кукхоф («Старик»), а также ряд других ценных источников.
Принятые Центром меры позволили берлинской резидентуре НС только быстро преодолеть спад, вызванный обострением обстановки в стране в 1933—1934 годах, но и постепенно активизировать ее работу. В отчете 3-го (германского) отделения ИНО ОГПУ за 1933 год, утвержденном М.С. Кедровым, отмечалось:
«В результате проводимых национал-социалистами правительственных мероприятий (массовые аресты, разгром организаций и другие репрессии) наша работа в основном не пострадала. Мы потеряли двух агентов. Поссанер вне зависимости от связи с нами был арестован за свои старые грехи перед НСДАП. Был арестован также наш источник А/210, бывший коммунист. Благодаря своевременно принятым мерам, мы избежали каких-либо осложнений в работе. Вся наша агентура работает исключительно в нелегальных условиях».
Уже в 1935 году заметно активизировалась работа по приобретению новых источников информации в Германии. Только за один этот год резидентурой было привлечено к сотрудничеству с внешней разведкой 13 источников по политической линии. А 1936 год можно считать пиком работы берлинской резидентуры: она располагала источниками информации в важнейших объектах Германии и добывала ценную информацию о внутриполитической ситуации в стране, положении в нацистской партии, гитлеровском руководстве, военных устремлениях и приготовлениях Гитлера. Резидентура освещала экономическое положение Германии, способствовала заключению выгодных торговых сделок с немецкими фирмами, а также вела работу по выявлению подрывной деятельности германских концернов против СССР.
Во Франции в этот же период добилась выдающихся результатов нелегальная резидентура, руководимая Борисом Базаровым. Активный разведчик-нелегал Дмитрий Быстролетов (оперативный псевдоним «Ганс»), специализировавшийся на получении шифров европейских стран, сумел завербовать сотрудника британского Форин-оффис «Арно», от которого поступали ценнейшие документальные материалы.
В 1933 году по инициативе Артузова была воссоздана нелегальная резидентура в Англии, руководимая знаменитым разведчиком-нелегалом Арнольдом Дейчем, лично завербовавшим свыше двадцати агентов. Этой резидентурой была приобретена знаменитая «кембриджская пятерка», от которой поступала документальная информация о деятельности МИД и МВД Великобритании, об англо-германских отношениях, о положении в основных политических партиях страны, торговой политике Великобритании и по другим вопросам, интересовавшим Москву. В годы Великой Отечественной войны от нее поступала информация не только по Великобритании, но и по гитлеровской Германии, где в тот период не существовало резидентуры советской внешней разведки.
В мае 1934 года, когда угроза гитлеровской агрессии стала реальностью и не исключалось создание блока западных стран на антисоветской основе, Политбюро рассмотрело вопрос о координации деятельности военной и политической разведок. Начальник ИНО ОГПУ Артур Артузов был назначен по совместительству заместителем начальника Разведывательного управления РККА. 21 мая 1935 года он был освобожден от обязанностей начальника ИНО НКВД и полностью сосредоточился на работе в военной разведке, которую тоща возглавлял Ян Карлович Берзин.
Перевод Артузова с поста начальника внешней разведки органов госбезопасности с понижением в должности в военную разведку был связан с инцидентом, происшедшим с ним незадолго до этого.
В начале 1934 года вопрос советско-польских отношений обсуждался на совещании в Кремле. Сталин, опираясь на информацию советского полпреда в Варшаве Антонова-Овсеенко, склонялся к мысли, что следует откликнуться на «реверансы» Варшавы и прозондировать почву для возможного заключения соглашения с ней. Эту точку зрения вождя разделял и Карл Радек, слывший экспертом Кремля по международным вопросам. На этом совещании в Кремле только Артур Артузов придерживался иного мнения. Опираясь на донесения советской разведки, он заявил, что поляки ведут нечестную игру и всего лишь делают вид, что собираются сблизиться с СССР. На самом же деле Польша зондирует почву для сговора с Германией в надежде, что Гитлер совместно с ней разделит «советский пирог» в случае войны против СССР.
Жизнь показала правоту Артузова. В декабре 1934 года между Германией и Польшей был подписан договор о добрососедстве и сотрудничестве, направленный против СССР. По этому договору Германия обязалась в случае войны с СССР учесть территориальные претензии Польши к нашей стране. Сталин, ознакомившись с этим документом, полученным советской внешней разведкой, реагировал своеобразно: Артузов был освобожден от должности начальника ИНО и переведен в Разведупр РККА. Генсек не любил, когда кто-нибудь публично выражает несогласие с его мнением.