Шувалов был назначен первым уполномоченным на конгрессе. Вторым уполномоченным стал посол при берлинском дворе П. П. Убри.
8 мая 1878 г. царь писал главнокомандующему действующей армией генерал-адъютанту Тотлебену: «Приезд графа Шувалова дал нам некоторую надежду на сохранение мира… Переговоры с Австриею еще не привели ни к какому положительному результату, но главный вопрос должен решиться на днях в Лондоне. Если соглашение с Англиею состоится, то невероятно, чтобы Австрия одна решилась объявить нам войну, а если бы была довольно безумна, чтобы на это решиться, то можно полагать, что Турция будет скорее на нашей стороне, ввиду нескрываемого Австриею желания занять Боснию и Герцеговину не временно, а постоянно» (56. Кн. вторая. С. 456).
На обратном пути Шувалов снова встретился с Бисмарком, чтобы договориться о времени проведения конгресса. От него Петр Андреевич узнал, что уже после его отъезда из Петербурга Александр II уступил просьбе своего старого канцлера Горчакова и назначил его первым уполномоченным на конгрессе. Граф Шувалов при этом становился вторым уполномоченным, а Урби — третьим. Бисмарк, расположенный к Шувалову и недолюбливавший Горчакова, был крайне недоволен этим. «Теперь все изменилось. Мы с вами останемся друзьями на конгрессе, но я не позволю Горчакову снова влезть мне на шею и обратить меня в свой пьедестал!» (56. Кн. вторая. С. 456), — в отчаянии воскликнул Бисмарк. И графу Шувалову пришлось долго убеждать канцлера, что речь идет не о личных отношениях его к Горчакову, а о дружественном расположении Германии к России и об исполнении ее обязательств перед ней.
Граф Шувалов вновь повторил Бисмарку сделанное год назад предложение о создании оборонительного и наступательного союза между Германией и Россией, уверяя, что это будет надежным средством предотвратить всякие коалиции против Германии, которых он, Бисмарк, так боится. Ведь без участия России любая коалиция для Германии будет не опасна. Бисмарк согласился с этим и рассказал, что еще до восточного кризиса сам предложил Горчакову такой союз, при котором Германия обязывалась поддерживать Россию против Турции не только морально, но и материально, предоставив ей стотысячную армию в обмен на ручательство России за территориальную целостность Германской империи. «Эти сто тысяч человек были бы вам очень полезны под Плевной», — заметил канцлер и тут же добавил, что теперь рад, что предложение его было отклонено, потому что вряд ли ему удалось добиться на это согласия рейхстага. «К тому же, — рассуждал Бисмарк, — если бы Германия принесла в жертву союзу с Россией свои дружественные отношения ко всем прочим державам, то при всяком остром проявлении «реванша» со стороны Франции или Австрии и при ее географическом положении, она скоро впала бы в опасную для нее зависимость от России, в особенности при политике князя Горчакова с ее повелительными, чисто азиатскими приемами» (56. Кн. вторая. С. 456).
На что Шувалов ответил: «Горчаков лишен всякого влияния. Если он продолжает еще формально вести дела, то этим он обязан лишь уважению императора к его старости и к прежним его заслугам» (56. Кн. вторая. С. 456). О чем, спрашивал Шувалов, Россия и Германия могут вступить в спор между собой? Не существует ни одного действительно важного вопроса, который мог бы послужить тому предлогом. С этим доводом Бисмарк согласился, но все же припомнил и Ольмюц, и Семилетнюю войну, выразив мнение, что, помимо Горчакова, многим русским тяжело признать в Германии равноправного друга и что современной России свойственны не только приемы, но и притязания нынешнего ее канцлера.
В заключение беседы Бисмарк отклонил предложенный ему Шуваловым выбор между Австрией и Россией и рекомендовал остаться при союзе трех империй или, по крайней мере, при соблюдении мирных между ними отношений.
В Лондоне граф Шувалов подписал с лордом Салисбюри три тайные конвенции, главными условиями которых были:
Болгария разделялась на две части: одна к северу, а другая к югу от Балкан. Северная область получала политическую автономию под управлением князя, а южная — лишь широкую административную автономию под властью генерал-губернатора из христиан, назначаемого на пятилетний срок Портой с согласия Европы. Южная Болгария не должна была доходить до Эгейского моря. Восточная граница обеих Болгарии также изменялась с тем, чтобы оставить вне их население неболгарского происхождения. Турецкие войска выводились как из Северной, так и из Южной Болгарии, но Англия предоставляла себе право выторговать на конгрессе для султана в известных случаях и под некоторыми ограничениями вводить турецкие войска в Южную Болгарию, расположить их вдоль ее границы, а также назначать с согласия европейских держав начальника милиции в этой области.
Обещанные Портой права и преимущества ее христианским подданным в европейских областях, как-то: в Эпире, в Фессалии и других, а также армянам в Малой Азии будут поставлены под наблюдение не одной России, а всех великих держав.
Англия хотя и не одобряет желание России вернуть часть Бессарабии, отторгнутой от нее в 1856 г., но не станет препятствовать этому. Соглашаясь на присоединение к России Карса и Батума, Англия принимает к сведению обещание Александра II, что русская граница не будет впредь распространяема со стороны Азиатской Турции. Россия же отказывается от приобретения Алашкертской долины с крепостью Баязет и взамен будет настаивать на уступке Персии Портой города Хотура с округом.
Россия обязуется не обращать в земельное приращение выторгованную в ее пользу денежную контрибуцию за военные издержки, которое не лишит Англию ее права как кредитора Порты и ничего не изменит в положении, которое она занимала в этом отношении до войны.
Таковы были главные статьи англо-русского соглашения, сверх которых Англия оставляла за собой право возбудить на конгрессе несколько второстепенных вопросов, таких как участие Европы в организации обеих Болгарии; срок русского военного занятия Болгарии и прохода через Румынию; условия судоходства по Дунаю, все постановления, касавшиеся Черноморских проливов и т. д.
22 мая 1878 г. германское правительство разослало всем странам — участницам Парижского трактата 1856 г. приглашения собраться на конгресс в Берлине для обсуждения условий «прелиминарного» мирного договора, заключенного в Сан-Стефано между Россией и Турцией.
Представители великих держав съехались в Берлин к 1 июня. Первыми уполномоченными были министры, руководившие внешней политикой своих государств: от Германии — князь Бисмарк, от Австро-Венгрии — граф Андраши, от Англии — премьер-министр граф Биконсфильд и министр иностранных дел маркиз Салисбюри, от Франции, Италии и Турции — министры иностранных дел Ваддингтон, граф Корти и Каратеодори-паша. Русский канцлер князь Горчаков, хоть и был назначен первым уполномоченным, но по слабости здоровья не принимал активного участия в совещаниях, на которых отстаивать интересы России выпало на долю второго уполномоченного, графа Шувалова.
Христианские балканские государства — Греция, Румыния, Сербия и Черногория — тоже прислали в Берлин своих представителей, но на конгресс их допустили без права голоса, и только греки и румыны были выслушаны в процессе заседаний.