20 июля 1937 года Политбюро ЦК ВКП(б) постановило «дать немедля приказ по органам НКВД об аресте всех немцев, работающих на оборонных заводах… О ходе арестов и количестве арестуемых сообщать сводки (ежедневные) в ЦК». Соответствующий приказ, касающийся всех германских подданных, был издан и введен в действие по телеграфу 25 июля. 30 июля был подписан второй приказ, касавшийся уже советских граждан немецкой национальности. В августе появились аналогичные решения и приказ относительно поляков, а затем и относительно корейцев, латышей, эстонцев, финнов, греков, китайцев, иранцев, румын. Под нож репрессий попали 30 938 советских граждан, ранее работавших на Китайско-Восточной железной дороге и вернувшихся в СССР после ее продажи в 1935 году. Вся эта группа лиц получила нарицательное имя «харбинцы». Из приказа НКВД от 20 сентября 1937 года следовало, что харбинцы в подавляющем большинстве являются агентурой японской разведки и подлежат осуждению в трехмесячный срок. 23 октября был издан приказ, в котором делался упор на то, что агентура иностранных разведок переходит границу под видом лиц, ищущих политического убежища, и предлагалось: «всех перебежчиков, независимо от мотивов и обстоятельств перехода на нашу территорию, немедленно арестовывать». Таким образом предавались суду и профессиональные революционеры, ответственные работники компартий, переходившие на территорию СССР в поисках лучшей жизни. По данным комиссии П. Н. Поспелова, работавшей перед ХХ съездом партии, в результате выполнения названных выше приказов к 10 сентября 1938 года было рассмотрено дел на 227 986 человек, в том числе осуждено к расстрелу 172 830 человек (75,8 %), к разным мерам наказания — 46 912 человек (20,6 %), передано на рассмотрение судов 3120 и возвращено к доследованию на 5124 человека (Реабилитация: как это было. М., 2000. Т. 1).
Репрессии по национальному признаку не обошли и Красную Армию. 10 марта 1938 года Г. М. Маленков поручил Л. З. Мехлису подготовить списки армейских коммунистов — поляков, немцев, латышей, эстонцев, финнов, литовцев, болгар, греков, корейцев и представителей других национальностей, имевших государственные образования за пределами СССР. Указание было выполнено, и 24 июня того же года была издана директива наркома обороны, согласно которой из армии подлежали увольнению военнослужащие всех «национальностей, не входящих в состав Советского Союза». В первую очередь увольнялись все родившиеся или проживающие за границей, а также имеющие там родственников. Лица командно-начальствующего состава увольнялись из армии по приказам, имеющим особую нумерацию. После номера приказа за косой скобкой следовали буквы «оу» (например: Приказ № 115/оу), означавшие «особый учет». Уволенные с таким шифром (его называли «шифром Б. М. Фельдмана», по фамилии начальника управления по комначсоставу РККА) по прибытии на место жительства арестовывались. В числе уволенных с таким шифром были серб начдив Данило Сердич и поляк комбриг К. К. Рокоссовский.
По неполным сведениям (без данных по Киевскому и Забайкальскому округам, по Тихоокеанскому флоту и Дальневосточной флотилии), особыми отделами было выявлено 13 тысяч подлежащих увольнению «националов», 4 тысячи из которых уволены, 2 тысячи из числа уволенных арестованы. По директиве Наркомата обороны от 21 июня 1938 года из армии были уволены 863 политработника польской, немецкой, латышской, литовской, эстонской, китайской национальности. В июне—июле 1938 года производилась чистка армии по анкетным признакам (рождение, проживание или наличие родственников за границей). Из армии были уволены (и почти сразу в большей части арестованы) не только практически все военнослужащие и вольнонаемные «иностранных национальностей», но и немалое число представителей «национальностей Советского Союза». Согласно «Справке о числе уволенного начсостава РККА (без политсостава) в 1938 году по национальности», составленной в ноябре 1939 года в Управлении по командному и начальствующему составу РККА, всего за год было уволено 4138 командиров. Наибольшую часть уволенных составляли поляки (26,6 %), латыши (17,3 %), немцы (15 %) и эстонцы (7,5 %). Далее шли литовцы (3,7 %), греки (3,1 %), корейцы (2,9 %), финны (2,6 %), болгары (1,2 %). Среди уволенных были также венгры, чехи, румыны, шведы, китайцы — представители наций, «не входивших в состав народов СССР», и 710 человек (17,2 %) родившихся за пределами СССР русских, украинцев, белорусов, евреев и представителей других национальностей Союза ССР (Военно-исторический архив. 1998. № 3).
Аналогичным образом начиналась чистка другой силовой структуры. Н. И. Ежов, назначенный на пост наркома внутренних дел 26 сентября 1936 года, отмечал: «Придя в органы НКВД… начал свою работу с разгрома польских шпионов, которые пролезли во все отделы органов ЧК». В мае 1938 года ЦК партии дал указание об удалении из органов всех сотрудников, имеющих родственников за границей и происходивших из мелкобуржуазных семей. Массовая чистка органов госбезопасности была произведена после утверждения наркомом Л. П. Берия (25 ноября 1938 года). В 1939 году из органов госбезопасности были уволены 7372 человека (каждый пятый оперативный работник) и взято на оперативные должности 14,5 тысячи человек. Из руководящего состава НКВД (наркомы внутренних дел СССР и их заместители, начальники управлений и отделов центрального аппарата НКВД, наркомы внутренних дел союзных и автономных республик, начальники УНКВД краев и областей общей численностью 182 человека) исчезли поляки, латыши и немцы, значительно сократилось число евреев (с 21,3 % на начало сентября 1938 г. до 3,5 % к концу 1939 г.), места которых были замещены преимущественно русскими, украинцами, грузинами (Петров Н. В., Скоркин К. В. Кто руководил НКВД. М., 1999). Среди сотрудников центрального аппарата НКВД, насчитывавшего к началу 1940 года около 3,7 тысячи человек, русских было 3073 человека (84 %), украинцев — 221 (6 %), евреев 189 (5 %), белорусов — 46 (1,25 %), армян — 41 (1,1 %), грузин — 24 (0,7 %), а также представители татар, мордвы, чувашей, осетин и др.
Военными соображениями были продиктованы и решения об «очищении» приграничной полосы от проживавшего там населения, этнически родственного народам сопредельных стран, и других неблагонадежных граждан. В апреле 1936 года СНК СССР принял решение о переселении из Украины в Казахстан 15 тысяч хозяйств (45 тысяч человек) поляков и немцев. В 1937 году из районов Дальнего Востока были депортированы в Казахстан и Узбекистан 172 тысяч корейцев, несколько сот поляков, 11 тысяч китайцев. В этом же году из пограничной полосы Армении, Азербайджана, Туркмении, Узбекистана и Таджикистана вглубь страны переселялись 1325 граждан курдской национальности. Продолжалась очистка западного пограничья Украины и Белоруссии. В ноябре 1938 года началось переселение иранцев из приграничных районов Азербайджана. В последующие годы (особенно с включением в СССР Западной Украины и Западной Белоруссии, республик Прибалтики и Молдавской ССР, увеличившим население страны на 22 миллиона 599,8 тысячи человек и заметно изменившим национальный состав ее населения) политика депортаций получила дальнейшее развитие.
Наибольшую часть нового контингента депортированных составляли «польские осадники и беженцы». Осадниками называли переселенцев из Польши, в основном бывших военнослужащих польской армии, отличившихся в войне против Советской России в 1920 году и получивших в связи с этим землю в районах, населенных украинцами и белорусами. Кроме того, они выполняли определенные полицейские функции в отношении местного украинского и белорусского населения. Всего в 1940—1941 годах из Западной Украины и Западной Белоруссии, а также из Литвы было депортировано более 380 тысяч поляков. Наряду с поляками в ссылку были отправлены «осадники и беженцы» других национальностей. По данным на 1 апреля 1941 года, среди 177 043 депортированных осадников и беженцев, на которых имелись сведения о национальной принадлежности, было 54,6 % поляков, 33,3 % евреев, 5,3 % украинцев, 5,1 % белорусов. Незадолго до начала Великой Отечественной войны (главным образом 13 и 14 июня 1941 г.) было осуществлено выселение «антисоветских элементов» из Прибалтики, Западной Украины, Западной Белоруссии и Правобережной Молдавии. Большинство (85 716 человек) депортированных было расселено в Новосибирской области (22,5 %), в Алтайском крае (20,4 %), в Красноярском крае (20,5 %), в Казахской ССР (18 %), в Омской области (13,5 %), в Коми АССР (3,6 %), в Кировской области (2,4 %) (Население России в ХХ веке. М., 2001. Т. 2).
Растущей подозрительностью в отношении всех, кто был прямо или косвенно связан с враждебными Советскому Союзу государствами, была вызвана ликвидация многих культурно-образовательных и территориально-управленческих институций нацменьшинств. Г. М. Маленков, под руководством которого готовились документы по этому вопросу, 29 ноября 1937 года писал: «Сейчас полностью установлено, что в ряде случаев национальные районы были созданы по инициативе врагов народа для того, чтобы облегчить успешное развертывание своей контрреволюционной, шпионско-вредительской работы». (По результатам специального исследования, число «национальных» районов, то есть населенных национальными меньшинствами, на 15 июля 1934 года составляло свыше 240, а национальных сельских советов — свыше 5300. Более поздних официальных данных по этому вопросу не публиковалось.)
1 декабря 1937 года Оргбюро ЦК рассмотрело вопрос «О ликвидации национальных районов и сельсоветов» и признало «нецелесообразным дальнейшее существование как особых национальных районов, так и сельсоветов». В обосновании этого решения указывалось, что «в ряде областей и краев искусственно созданы различные национальные районы и сельсоветы (немецкие, финские, корейские, болгарские и др.), существование которых не оправдывается национальным составом их населения. Больше того, в результате специальной проверки выяснилось, что многие из этих районов были созданы врагами народа с вредительскими целями. Буржуазные националисты и шпионы, пробравшиеся на руководящие посты в этих районах, проводили антисоветскую работу среди населения, запрещали в школах преподавание русского языка, задерживали выпуск газет на русском языке и т. п.». Постановление предписывало местным партийным комитетам к 1 января 1938 года представить в ЦК ВКП(б) предложения о ликвидации этих районов путем реорганизации в обычные районы и сельсоветы. Весь 1938 год шел процесс реорганизации районов. 16 февраля 1939 года Оргбюро ЦК утвердило постановления местных обкомов об этой реорганизации. Решение Оргбюро «О ликвидации и преобразовании искусственно созданных национальных районов и сельсоветов» окончательно было утверждено на заседании Политбюро 20 февраля 1939 года. В те же годы были ликвидированы некоторые из национальных округов (Витимо-Олекминский и Аргаяшский в Читинской области, Карельский в Калининской области). В результате численность национальных округов, районов и сельских советов в стране существенно уменьшилась.