В начале марта 1920 года королем Сирии был провозглашен Фейсал I Хашимит. Он не замедлил объявить Палестину частью Великой Сирии, и в палестинских городах усилились протесты со стороны арабского населения против еврейской иммиграции, сопровождаемые многочисленными актами насилия. Британские военные и полицейские власти практически не препятствовали нападениям арабов, но при этом подвергали аресту и тюремному заключению евреев, оказывавших арабам сопротивление. Это привело к вооруженным столкновениям между арабами и евреями, сплотившимися вокруг немногочисленной организации еврейской самообороны “Ха-Шомер” (“Страж”).
В июне 1920 года началось формирование нелегальной еврейской военной организации “Хагана” (“Оборона”).
Постепенно все еврейские силы самообороны были объединены под эгидой Гистадрута. В марте 1921 года для координации действий был создан Оборонный комитет и основаны курсы инструкторов по боевой подготовке».
Коммунистическая партия Палестины была основана в 1920 году, а в 1924 году официально признана Исполнительным комитетом Коммунистического интернационала. Следует отметить, что на начальном этапе становления партии ббльшую часть ее членов составляли бывшие приверженцы сионизма. И это при том, что с первых же дней существования коммунистической партии перед ней встал вопрос: как вырвать массы трудящихся из плена сионистской идеологии? Одновременно партия пыталась привлечь на свою сторону арабское население Палестины, однако этому усиленно противились англичане и арабское религиозное руководство.
Военно-политическое руководство СССР также придавало Палестине большое значение и внимательно отслеживало происходившие в ней события. Ведь они, как и события в Афганистане, определенным образом влияли на уровень антисоветской деятельности мусульманского населения Средней Азии. А советская сторона была крайне заинтересована в его снижении. Органы государственной безопасности активно искали адекватный ответ на действия англичан по поддержке басмаческого движения в Советском Туркестане. По утверждению Иосифа Линдера и Сергея Чуркина, «наиболее результативным представлялся путь нелегального проникновения в боевое сионистское движение на Ближнем Востоке. Параллельно планировалось найти подходы к использованию сионистских кругов для поддержки интересов Советского Союза в странах Запада. Кроме того, в Палестине находилось не менее пяти тысяч человек из белой эмиграции, которых британские спецслужбы стремились привлечь к антисоветской деятельности, и их надо было либо нейтрализовать, либо привлечь на свою сторону».
В 1923 году председатель ОГПУ Дзержинский направил начальнику Иностранного отдела Трилиссеру служебную записку, в которой предложил разведке приступить к установлению оперативных контактов среди еврейского населения Палестины. После этого и было принято решение о назначении Блюмкина нелегальным резидентом в Палестине, а Серебрянского — его заместителем.
Накануне отъезда Якова Серебрянского пригласил к себе Вячеслав Рудольфович Менжинский, который в то время был членом Президиума ГПУ. Он молча пожал руку вошедшему в кабинет молодому человеку и так же молча показал на стул около стола. Сел на свое место, внимательно глядя в глаза молодого человека, которого разведка направляла на работу за границу. Через 30 лет Яков Исаакович рассказывал сыну, что от той первой беседы в его памяти остался ответ Вячеслава Рудольфовича. На вопрос «А что мне там нужно делать, за границей?» — Менжинский усмехнулся и коротко ответил: «Все, что полезно для революции».
И Яков Серебрянский начал работать на пользу революции.
Перед Блюмкиным и Серебрянским была поставлена задача по сбору информации о планах Англии и Франции на Ближнем Востоке, изучению местных политических организаций и вербовке агентуры для решения оперативноразведывательных задач.
В декабре 1923 года по маршруту, использовавшемуся репатриантами-евреями, разведчики-нелегалы Блюмкин и Серебрянский, имея соответствующие документы, прибыли в главный порт Палестины Хайфу, откуда перебрались в Яффу. Треть населения города в то время составляли евреи. Здесь Блюмкин вскоре открыл прачечную, которая стала конспиративной квартирой нелегальной резидентуры ИНО ОГПУ.
Тель-Авив, бывший тогда пригородом Яффы, являлся одним из центров приема евреев, приезжавших из Польши и России. В этот период началась так называемая Четвертая алия — очередная волна репатриации евреев в Палестину из-за всплеска антисемитизма в Польше.
После окончания Первой мировой войны в Восточной Европе образовалось новое государство — Республика Польша. Принятая в 1921 году конституция страны гарантировала национальным меньшинствам, в том числе и евреям, равные с остальными права. Однако польские евреи подвергались в стране всяческим притеснениям, унижению и преследованию. В 1924 году в Палестину приехали 14 тысяч человек, половину из которых составили польские евреи. В 1925 году — более тридцати четырех тысяч человек, больше половины из которых были из Польши.
Первые месяцы пребывания разведчиков в городе были посвящены созданию надежного прикрытия, изучению обстановки и налаживанию связей в местных кругах.
Однако уже в июне 1924 года Блюмкин был отозван в Москву, и его на посту резидента сменил Серебрянский.
Историк отечественных спецслужб Олег Капчинский так описывает этот период деятельности молодого разведчика-нелегала: «Теперь руководство разведки поставило перед Серебрянским еще более сложную задачу — создание глубоко законспирированной агентурной сети в регионе, в первую очередь в боевом сионистском движении. Яков Серебрянский с этой задачей успешно справился».
Как свидетельствуют документы того периода, Серебрянский создал в Палестине сеть из тридцати нелегалов. Среди его агентов были, в частности, несколько членов нелегальной еврейской военной организации «Хагана».
Кроме того, в 1924–1925 годах Серебрянский сумел привлечь к сотрудничеству с советской разведкой нескольких бывших белогвардейцев, осевших в Палестине: А. Н. Ту-рыжникова, А. Н. Ананьева, Ю. И. Волкова, Н. А. Захарова. Все завербованные Серебрянским люди впоследствии стали его надежными помощниками, составили ядро руководимой им специальной группы.
В 1924 году к Серебрянскому в Палестине присоединилась жена Полина Натановна, направленная в Яффу по личному указанию начальника Иностранного отдела ОГПУ Михаила Трилиссера.
Бывший сотрудник внешней разведки и ее историк, писатель Эдуард Шарапов рассказывал: «В 1924 году, когда Серебрянский уже почти год был за границей, Трилиссер, являвшийся в то время начальником ИНО ОГПУ, вызвал к себе его жену — Полину Натановну.
— Вам нужно ехать к мужу, — сказал Трилиссер. — Ему трудно. Вам надо быть рядом.
— Не поеду, боюсь.
Несколько затянувшаяся беседа Серебрянской и Трилиссера закончилась очень просто. Трилиссер после уговоров и объяснений положил свою ладонь на руку Серебрянской и мягко, но твердо сказал: “Ну вот что, Полина Натановна… Или вы поедете за границу к мужу, или вам придется положить на стол партийный билет”.
Для нее, члена партии с 1921 года, работницы Краснопресненского райкома партии, это было просто немыслимо, и она поехала. И была с мужем в Палестине, во Франции, в Германии, США и Бельгии, везде помогая ему в трудной и необходимой для страны работе».