Но и за границей барон Врангель не сложил оружия – в прямом и в переносном смысле. В том же году он отдал секретный приказ белым эмигрантам тайно сохранять оружие в других странах и организовал в Париже Русский общевоинский союз, собиравший силы для вооруженной борьбы с большевиками. Наученный горьким опытом политических дрязг, он придавал первостепенное значение сохранению армии как единственной реальной силы русского зарубежья, но при этом считал необходимым отстаивать принцип непредрешения будущей формы политического строя России до очищения ее от большевиков. Отстаивание монархических или демократических лозунгов грозило расколом. "Нейтральная" позиция барона привлекала к нему максимальные симпатии. Именно поэтому для большевиков он был опаснее генералов Краснова и Лукомского. В России в 20-х то и дело вспыхивали восстания против коммунистического счастья, расцветал НЭП. Казалось бы, еще чуть-чуть... Но вот весной 1928 года в доме Врангелей в Брюсселе появился неизвестный субъект, которого вестовой генерала представил как своего брата, матроса советского торгового судна, стоявшего в Антверпене. "Брат" исчез так же неожиданно, как и появился. А барона скосила странная болезнь, названная "тяжелой инфекцией интенсивного туберкулеза", хотя в свои 49 лет он никогда не жаловался на здоровье. Менее чем за месяц он буквально сгорел от 40-градусной температуры.
Хотя в 1989 году КГБ официально признало, что парижские похищения белых генералов Кутепова и Миллера были организованы чекистами, убийство Врангеля пока не объявлено аналогичной "выдающейся операцией доблестной советской разведки". Но именно это событие значительно облегчило ВЧК задачу по разгрому в 30-х годах погрязшего после смерти лидера в политических спорах РОВС и Белого движения в целом.