Шло время, жизнь в столице и развлечения при дворе сгладили горечь ухода со службы. Александр Михайлович все ждал, что его снова пригласят занять должность в МИДе, но приглашения не поступало. Видя беспокойство зятя, граф Урусов начинает содействовать его возвращению на службу. Вернувшись в МИД, в 1841 году Горчаков был направлен чрезвычайным посланником и полномочным министром в Вюртемберг. Назначение казалось второстепенным, но на самом деле германский вопрос был одним из центральных в европейской политике России. В Петербурге внимательно следили за внутренними процессами в германских государствах, за борьбой между Австрией и Пруссией, желавших играть руководящую роль в объединении Германии. Задача Горчакова сводилась к поддержанию авторитета России как покровительнице германских стран и умелому использованию противоречий, так как создание на границах империи сильной единой Германии для России было небезопасно. Связи дипломата при дворе вюртембергских князей помогали Горчакову передавать в Петербург уникальный материал о тайных планах правительств стран Германского союза. Прокатившиеся по континенту революции 1848-1849 гг. чрезвычайно насторожили Горчакова. В своих сообщениях о митингах и демонстрациях в Европе он настойчиво советовал императору охранять Россию от взрывов и потрясений, подобных тем, какие он наблюдал здесь. Деятельность Александра Михайловича была оценена высоко. Король Вюртемберга наградил его орденом Большого Креста, а император Николай I представил его к орденам Св. Анны и Св. Владимира. В 1850 году Горчаков получает назначение на должность чрезвычайного посланника и полномочного министра при Германском союзе. В этом союзе русское правительство усматривало залог сохранения мира, а Горчаков был призван сдерживать усилия Австрии и Пруссии - двух соперничающих держав, выступать в роли объединителей Германии. Тогда же Александр Михайлович близко сошелся с прусским представителем Бисмарком. Горчаков не скрывал, что является ревностным почитателем этого великого человека. На его глазах, при благосклонном невмешательстве России, Бисмарк добился удивительных свершений: разбил поодиночке сначала Данию, потом Австрию, затем сокрушил и Францию и создал могущественную германскую империю.
Той же цели - только созданию великой России - была посвящена и деятельность Александра Михайловича Горчакова. Вот почему он всегда отметал все революции, направленные в первую очередь на разрушение, а не на созидание. Ещё в 1825 г., когда он приехал на лечение в Россию, его пытались втянуть в тайное общество декабристов. Благомыслящий Горчаков ответил своим друзьям по лицею, что справедливые цели никогда не достигаются коварными и тайными происками и что питомцы лицея, основанного Александром Павловичем, не подобает идти против монаршей особы.
"Горчаков обладал умом возвышенным, большим, тонким, и его умение использовать дипломатические уловки не исключало лояльности. Он любил играть с противником, приводить его в замешательство, захватывать врасплох, но никогда не позволял себе обращаться с ним грубо или его обманывать. Ему приходилось прибегать к хитростям, так как его замысел был всегда ясен и лишен загадок. С очень немногими из дипломатов было так легко и надежно". - писал французский политический деятель Эмиль Оливье.
На следующий год Горчаков был переведен управляющим посольства в Вену вместо барона Мейендорфа, выполнявшего больше поручения австрийского императора, чем русского. В это время началась Крымская война. Австрия повела себя крайне неблагодарно к России, и Горчакову пришлось решать сложные дипломатические задачи. Он всегда выступал против войны с Турцией, а сейчас на ее стороне выступили Англия и Франция. Австрия также помогала державам антирусского блока, хотя и сохраняла видимый нейтралитет но Горчакову удалось на своем посту отдалить Австрию от воюющих западноевропейских держав. Те же самые шаги он предпринимал и в отношении Пруссии. И тут последовала смерть императора Николая I.
В 1853 году Александр Михайлович перенес личную трагедию - смерть жены, с которой они счастливо прожили 15 лет. На его плечи легла забота о своих сыновьях и о детях от первого брака Марии Александровны. Забота об их воспитании не помешала ему продолжать активную дипломатическую деятельность, которая приобрела особый вес накануне Крымской войны. В эти трудные для России годы Горчаков еще раз заявил о себе, как о дипломате высшего класса.
В 1854 году он получает назначение на должность посла в Вену. На стороне Турции уже выступили Англия и Франция. Австрия все еще колебалась, и задача Горчакова сводилась к устранению Австрии как возможной союзницы Турции в борьбе с Россией. Задача была весьма сложной, и Николай I, провожая Горчакова в Вену, сказал ему: "Я доверяю Вам. Но я совсем не надеюсь, что Ваши усилия увенчаются успехом". Прибыв в Вену, Александр Михайлович лично убедился о ненапрасных опасениях императора. Он сразу сообщил в Петербург о стягивании австрийских войск к Трансильвании, что угрожало русской армии на Дунае, о требовании вывода русских войск с территории Дунайских княжеств, о попытках австрийского правительства вовлечь в войну с Россией и Пруссию. Имея большой авторитет в дипломатических кругах и приложив огромные усилия, Горчакову удалось предотвратить вступление Австрии в Крымскую войну.
На Парижском конгрессе, начавшем работу в феврале 1856 года, интересы России представляли дипломаты А.Ф. Орлов и Ф.И. Бруннов. Героическая оборона Севастополя, взятие русскими войсками Карса и успешная работа Горчакова по ослаблению антирусской коалиции сыграли важную роль в уважительном отношении участников конгресса к российской делегации. В Париже самого Горчакова не было, а когда работа конгресса была завершена, он уже находился в Петербурге. Его успешная деятельность по защите интересов России была высоко оценена новым императором Александром II.
Проигранная война и крах дипломатической политики графа Нессельроде заставили Александра II изменить направление внешней политики России и начать преобразовывать внутреннее управление. Нужен был новый министр иностранных дел, и главой МИДа становится Александр Михайлович Горчаков. Император надеялся, что князь сумеет восстановить престиж страны, подорванный поражением в Крымской войне.
Новое направление внешней политики министр Горчаков изложил в циркуляре от 21 августа 1856 года и в личном докладе императору. В нем подчеркивалось желание правительства посвятить "преимущественную заботливость" внутренним делам, распространяя деятельность за пределы империи, "лишь когда того безусловно потребуют положительные пользы России". Отказ от активной внешнеполитической деятельности носил временный характер, что подтверждается фразой Горчакова: "Говорят, Россия сердится. Нет, Россия не сердится, а сосредотачивается". Это означало, что Россия временно не станет активно вмешиваться в европейские дела и не будет жертвовать своими интересами ради поддержки принципов Священного союза, она будет собираться силами.
Одну из основных своих задач новый министр видел в отмене унизительных статей Парижского договора о нейтрализации Черного моря. Следовало также восстановить утраченное влияние на Балканах. Решение этих задач требовало поиска новых путей и дипломатических комбинаций.
Для решения этих задач нужны были новые люди. Формируя аппарат министерства, он заменил многочисленных иностранцев, которых привел с собою Нессельроде, русскими дипломатами, Александр Михайлович руководствовался профессиональной подготовкой сотрудников и их политической ориентацией. Он сократил аппарат МИДа, усилил ответственность руководителей отделов за принимаемые решения, ликвидировал мелочную опеку старших над младшими. Авторитет нового министра, его разумная требовательность к подчиненным, доверительные отношения с государем и реорганизованный аппарат позволили Горчакову уже в 1856 году приступить к реализации новой внешнеполитической программы.
Для ее решения Горчаков сделал ставку на Францию как на наиболее реального союзника. Он считал, что Восток для Наполеона III "является только мелочью", для французского императора важна территория до Рейна.13-15 сентября 1857г. была достигнута договоренность с Наполеоном III, который в обмен на поддержку Россией своих планов обещал действовать вместе с ней в ближневосточных делах. Подводя итоги прошедших переговоров, Горчаков заключал: "Франция оценила значение поддержки России в Европе, но поняла, что может рассчитывать на это только при условии помощи русскому правительству на Востоке". В случае возникновения войны Горчаков обещал Франции морально-политическую поддержку России и даже организацию демонстративных действий на австрийской границе. Он готов был признать право Наполеона III, в случае военного успеха, на материальные компенсации в Сардинии. Взамен всего этого Россия должна была получить от Франции обязательство содействовать всеми имеющимися в ее распоряжении средствами ликвидации статей Парижского тракта о нейтрализации Черного моря. Это обязательство Горчаков предлагал зафиксировать в виде открытого соглашения - что было более желательно - или секретного договора.
Наполеон IIIпредпочитал заключения тайного союза с Россией, но не хотел делать это путем согласия на предложенные условия. В ноябре 1858г. в Петербург прибыл представитель французского императора барон Ля Ронсьер Лё Нури. Переговоры с ним вел лично Горчаков. В случае вступления России в войну с Австрией Наполеон IIIпредлагал ей присоединить Галицию, но в деле пересмотра Парижского тракта не обещал ничего определенного. Горчаков считал, что в такой сделке не было никакой реальной выгоды для России. Поэтому министр прямо заявил Лё Нури, что для России Польшу "надежней сохранить втроем (с Пруссией и Австрией), чем вдвоем". Но прямолинейно заявить об отклонении проекта означало бы оттолкнуть Наполеона IIIи отказаться от надежды на пересмотр Парижского договора. Поэтому министр решил добиваться компромисса, подготовив два варианта ответных предложений. В первом ничего не говорилось о сосредоточении русской армии на австрийской границе; во втором - выражалась готовность сконцентрировать на границе большие военные силы, которые должны были отвлечь на себя часть австрийских войск, но лишь в случае, если Франция обещает поддержать Россию в отмене нейтрализации черного моря. Наполеон IIIбыл разочарован. Он ответил Горчакову, что "должен остаться верен обязательствам… которые взял на себя, пока обстоятельства не освободят его от них". Дело в том, что на конгрессе в Париже именно Франция выступила с инициативой нейтрализации Чёрного моря и в дальнейшем с другими державами-гарантами несла ответственность за сохранение тракта. Вместе с тем французский император продолжал добиваться русской поддержки. Однако Горчаков твёрдо придерживался занятой позиции, стараясь избежать вовлечения своей страны в военный конфликт только ради французских интересов. В это время венский двор ввиду предстоящей войны с Францией делает попытки восстановить прежние отношения с Россией и высказывает готовность пойти навстречу её пожеланиям. Но Горчаков хорошо понимал, что для пересмотра Парижского тракта при негативной позиции Англии и Франциинедостаточнобыло бы согласия одной Австрии.