Попытки англичан утвердить свою власть над Кандагаром закончились неудачей. В апреле 1881 г., убедившись в непрочности положения оккупационных войск, англичане вывели их из этого города и передали его Абдуррахману.
К середине 1881 г. все находившиеся в Афганистане войска англичан были выведены в Индию. Вторая англо-афганская война закончилась. Английские власти должны были признать, что все их усилия, направленные на превращение Афганистана в колонию, к цели не привели. Только соглашение с Абдуррахманом дало им возможность более или менее сохранить лицо. Впрочем, завершая урегулирование своих отношений с Абдуррахманом, англичане оказались вынуждены пойти на некоторые уступки, в частности они отказались от контрибуции, наложенной на Кабул за убийство резидента. От англичан эмир получил то, в чем он более всего нуждался для укрепления своей власти в борьбе с Аюб-ханом — деньги и оружие.
В июне 1881 г. Аюб-хан предъявил притязания на афганский престол и появился со своим войском в Кандагарской области. В июле он разбил посланные против него правительственные войска и занял Кандагар. Население Кандагара приветствовало его как прославленного борца против англичан. Богословы провозгласили Аюб-хана «гази», а Абдуррахмана обвинили за дружественные отношения с англичанами, призывая к священной войне против него.
Абдуррахман действовал со свойственной ему энергией, быстро собрал наличные силы и выступил на Кандагар. Решающее сражение, произошедшее у стен этого города, было очень упорным. В итоге войско Аюба было разбито. Бросив пушки и снаряжение, Аюб-хан с остатками войска бежал в Герат. А вслед затем под нажимом сердаров эмира вынужден был сдать и этот последний свой оплот, после чего эмигрировал в Иран.
Распространив свою власть на Герат и область, Абдуррахман в основном завершил объединение Афганистана в нынешних его границах. В своей внешней политике он стремился обеспечить самостоятельность государства, в том числе используя англо-русские противоречия, и с самого начала своего правления показал себя осторожным и предусмотрительным дипломатом. Он старался избегать поводов для конфликтов с Россией из-за среднеазиатских территорий, что видно, в частности, по его переписке со среднеазиатскими ханами, в которой он постоянно отказывал им в помощи против русских.