В феврале 1939 года по партийному набору Александр Сахаровский был направлен на работу в органы государственной безопасности. Являлся заместителем начальника отделения Водного разведотдела Транспортного управления УНКВД по Ленинградской области. В 1940 году он более семи месяцев находился в плавании в качестве помощника капитана пассажирского судна. Побывал в нескольких странах Адриатики. Так начиналась его оперативная работа.
Управление НКВД по Ленинградской области жило напряженной жизнью. Ленинград и область ощущали дыхание войны. Только что, в марте 1940 года, закончилась война с Финляндией, но уже в апреле гитлеровские армии захватили Данию и Норвегию. После поражения Франции Германия ввела свои войска в Финляндию. Накануне войны в УНКВД был создан Первый (разведывательный) отдел, который возглавил Сахаровский. Отдел занимался подготовкой разведывательно-диверсионных групп для заброски в тылы противника и операциями по ликвидации немецких парашютистов и других диверсантов.
Ветеран внешней разведки, полковник в отставке Борис Яковлевич Наливайко, который работал с Александром Михайловичем в ту пору в Ленинграде, так вспоминал этот период:
«Я ушел на фронт добровольно и находился в составе 276-го отдельного артиллерийско-пулеметного батальона. Осенью 1941 года вышел указ Сталина о возвращении студентов пятых курсов ряда технических вузов на учебу. В то время я был студентом Ленинградского кораблестроительного института. С мая 1942 года по направлению райкома комсомола я начал работать оперативным уполномоченным в разведывательном отделе, начальником которого был майор Сахаровский. Когда я решил жениться и доложил об этом Сахаровскому, он расспросил меня, кто моя невеста, поинтересовался, сколько мне лет. Было мне тогда 24 года. “Ну что ж, — сказал Александр Михайлович, — наверное, пора”.
Поздравив меня с принятым решением, он написал записку начальнику хозяйственного отделения, по которой мне выдали 300 граммов сала, пол-литра водки и 1 килограмм черных сухарей. Царский подарок к свадьбе!»
Левый берег Невы был передним рубежом обороны Ленинграда. Оттуда организовывались выводы разведывательно-диверсионных групп под Шлиссельбург, в тыл к немцам. Сахаровский выполнял и другие задания, связанные с обороной Ленинграда и прорывом блокады города, взятого в кольцо немецко-фашистскими захватчиками. В 1945 году Александр Михайлович руководил и лично участвовал в операциях по ликвидации действовавших на территории СССР резидентуры СД противника и группы вражеских разведчиков из «Абверкоманды-204».
Касаясь работы А.М. Сахаровского в тот период, в характеристике на него, составленной 15 марта 1942 года, в частности, говорилось:
«В период наиболее напряженного положения в Ленинграде лично провел специальную работу по созданию разведывательно-диверсионных групп в городе.
При непосредственном участии тов. Сахаровского было создано и переправлено в тыл противника более 40 разведывательно-диверсионных групп, нанесших оккупантам значительный ущерб в живой силе и технике. Истреблено свыше 100 немецких солдат и офицеров, взорвано 3 железнодорожных моста на коммуникациях противника, систематически нарушалась связь противника с основными штабами, уничтожались огневые точки и автомашины с боеприпасами и вооружением».
За успешные действия в борьбе с немецкими захватчиками Сахаровский в 1942 году был награжден орденом «Знак Почета», а в 1943 году — медалью «За оборону Ленинграда». Войну он начал лейтенантом госбезопасности, а закончил подполковником.
В другом документе УНКВД, датированном 1946 годом, в частности, указывалось:
«При личном участии тов. Сахаровского в 1945–1946 годах в ряде районов Ленинградской области были вскрыты и ликвидированы несколько оставшихся в освобожденных районах резидентур противника, арестована группа лиц из состава курсантов и обслуживающего персонала разведшколы “Абверкоманда-204”. Арестованные обучались в разведшколе, предназначались к выброске на территорию Ленинградской области и использовались для разведки переднего края частей Красной Армии в районе города Штеттина.
За 1945–1946 годы отделом, руководимым тов. Сахаровским, вскрыт и ликвидирован ряд диверсионных групп, а также проведена работа по выявлению и разоблачению немецких резидентур и отдельных разведчиков, предателей и изменников.
Тов. Сахаровский находился в 1945 году в течение 6 месяцев в специальной командировке в составе оперативной группы в Латвии. Под руководством тов. Сахаровского были вскрыты и ликвидированы 2 группы, входившие в состав националистической организации, разоблачены 2 резидентуры, арестовано 5 сотрудников немецких разведывательных органов и ликвидированы 2 вооруженные бандгруппы».
В 1946 году Сахаровский получил назначение в Москву, в центральный аппарат МТБ СССР. Являлся начальником отдела, заместителем начальника одного из управлений внешней разведки. В этот период он неоднократно выезжал для выполнения специальных заданий в Финляндию, Грецию, Турцию и Болгарию. В соответствии с просьбой руководства Румынской рабочей партии Сахаровский в течение двух лет, начиная с марта 1950 года, находился в командировке в Бухаресте в качестве советника МТБ СССР при МТБ Румынии. Руководя подчиненными ему загранточками, он вкладывал в это весь свой жизненный и оперативный опыт.
В характеристике на А.М. Сахаровского, составленной в тот период, в частности, указывалось:
«Во время спецкомандировок за границу правильно решал поставленные перед ним задачи, умело руководил агентурой в деле оказания влияния на общественно-политические круги в нужном СССР направлении. Работая советником МГБ СССР при органах безопасности Румынии, тов. Сахаровский оказал значительную помощь в организации работы этих органов. При его непосредственном участии румынскими коллегами вскрыт и ликвидирован ряд резидентур американской и английской разведок, а также сионистских и других подпольных организаций, активно действовавших на территории Румынской Народной Республики».
В июне 1955 года Александр Михайлович Сахаровский был назначен исполняющим обязанности, а с мая 1956 года — начальником Первого главного управления КГБ при СМ СССР (внешняя разведка) и проработал на этом посту до середины 1971 года. Одновременно с сентября 1959 года он становится членом Коллегии КГБ при СМ СССР.
Часто изменяющаяся международная обстановка требовала от начальника разведки поиска новых методов и перестройки работы резидентур внешней разведки. За время, в течение которого Сахаровский являлся руководителем большого коллектива чекистов, в жизни нашей страны, как и во внешнеполитической обстановке произошли существенные изменения. Значительно возрос объем задач разведки. География ее деятельности расширилась и стала охватывать весь мир.
Природный ум Александра Михайловича и его талант разведчика, способности крупного руководителя и организатора, умение видеть главное, правильно расставить кадры способствовали успешному решению важнейших разведывательных задач. Именно при Сахаровском получили активное развитие такие линии разведки, как контрразведывательная, научно-техническая, нелегальная. Он уделял много внимания подготовке кадров разведчиков, организации научно-исследовательской работы в ЛГУ.