Следующим на повестке дня был вопрос о том, как Гиммлер будет руководить объединённой полицией рейха. Фрик разработал проект, где Гиммлеру отводилась чисто номинальная роль, а реальное руководство осуществлял бы Курт Далюге. В ответ Гейдрих 9 июня 1936 потребовал от Фрика предоставления Гиммлеру министерских полномочий. Возмущённый этим Фрик отправился на приём к Гитлеру, который успокоил Фрика, сказав, что Гиммлер будет не министром, а статс-секретарём, в то же время дав понять, что вопрос о назначении Гиммлера уже решён.
17 июня 1936 года Гитлер подписал декрет, которым Гиммлер назначался верховным руководителем всех служб германской полиции, как военизированных, так и гражданских, которые переходили под его контроль. После назначения Гиммлер своим постановлением от 26 июня 1936 года провёл реорганизацию, создав два управления: полиции безопасности (нем. Sicherheitspolizei; Sipo) под руководством Гейдриха (государственная тайная и уголовная полиции) и полиции порядка (нем. Ordnungspolizei; Orpo) под руководством Далюге (обычная полиция, жандармерия и общинная полиция).
2 июля 1936 г., в день тысячелетия со дня смерти Генриха I Птицелова, Гиммлер поклялся на его могиле, что закончит дело саксов. Через год он распорядился перенести останки короля в Кведлинбургский собор. Каждый год в день смерти Генриха I в полночь Гиммлер, считавший себя его реинкарнацией, посещал его могилу.
В начале 1938 г. Гиммлер оказался в центре скандала, связанного с безосновательными обвинениями генерала фон Фрича в гомосексуализме. К тому же защитникам фон Фрича на суде удалось доказать, что Гиммлер и Гейдрих знали о том, что показания шантажиста Шмидта, на которых основывалось обвинение, были заведомо ложные.
Гиммлер приказал расстрелять Шмидта, сотрудников, участвовавших в расследовании, уволил или перевёл на низшие должности, а сам позже утверждал, что тоже стал жертвой недобросовестных и некомпетентных чиновников.
После такой неудачи перед Гиммлером встал вопрос о реформировании полиции рейха. Разработка проекта реформы проходила в условиях ожесточённой дискуссии и сопротивления партаппарата. Её результатом стало создание 27 сентября 1939 г. Главного управления имперской безопасности.
«Хрустальная ночь» стала полной неожиданностью для Гиммлера. Единственное, что он смог сделать — отдать распоряжения об охране имущества евреев, защите заведений, принадлежащих неевреям, и предотвращении нападений на иностранцев. Он также стал собирать материалы о преступлениях погромщиков и заручился поддержкой Геринга в борьбе против Геббельса. Однако, Гитлер выступил в его защиту, и затея провалилась.
Конфликты, интриги и восточная политика
Перед нападением на Польшу были созданы пять оперативных групп, основной задачей которых была ликвидация евреев, польской правящей элиты и интеллигенции. Однако эту задачу приходилось держать в тайне от руководства вермахта. Официально айнзатцгруппы должны были поддерживать порядок в тылу наступающих войск.
Реальное предназначение айнзатцгрупп тайной оставалось недолго, и уже к 11 сентября адмирал Канарис собрал материалы для доклада Кейтелю. Тот ответил, что если вермахт не хочет заниматься грязной работой, то пусть смирится с тем, что кто-то делает её за него.
Но вскоре и Кейтелю вместе с Рундштедтом пришлось стать в оппозицию к Гиммлеру, так как последний пытался добиться для частей СС и полиции в Польше статуса оккупационных войск. Вновь назначенный командующим вермахта в Польше генерал-полковник Бласковиц, несмотря на недовольство Гитлера, также стал собирать сведения о бесчинствах СС. Собранная им информация заставила даже таких сторонников Гитлера, как генерал фон Райхенау, встать на сторону обвинителей СС. Офицеры вермахта перестали подавать руку эсэсовцам.
Между тем, это была не единственная проблема Гиммлера. Гитлера не устраивали результаты предварительного следствия, согласно которым взрыв в пивной «Бюргербройкеллер», прогремевший 8 ноября 1939 через несколько минут после его ухода, был организован Георгом Эльзером в одиночку. Он потребовал от Гиммлера во что бы то ни стало найти доказательства связей Эльзера с британскими спецслужбами, а также евреями, масонами и Отто Штрассером. Для этого в Мюнхен вылетела специальная комиссия, председателем которой был Небе, членами: Гейдрих, Мюллер и Лоббс, но и она пришла к тем же выводам, что и были ранее. Тогда Гиммлер решил лично допросить Эльзера. Вот как оберрегирунграт Бёме описывал потом сцену допроса:
Изрыгая ругательства, Гиммлер стал бить связанного Эльзера сапогами, затем приказал обработать его в соседней комнате (тот взвыл, видимо, от ударов плёткой или чего-то подобного). Когда его снова доставили к Гиммлеру, рейхсфюрер опять стал наносить ему удары сапогами и ругаться.
Однако Эльзер стоял на своём, утверждая, что действовал сам. Приглашённый в Мюнхен начальник уголовной полиции Вены, криминальрат Хубер также не нашёл ничего, что бы свидетельствовало о том, что Эльзер действовал в сговоре с кем-то. В конце концов Гиммлер и Гейдрих согласились с версией о террористе-одиночке, что дало повод Гитлеру обвинить рейхсфюрера в некомпетентности.
Проблема Бласковица решилась весной 1940, когда в связи с подготовкой к вторжению во Францию он был переведён на западные рубежи.
В мае 1940 Гиммлер разработал докладную записку «Обращение с другими народами на Востоке», подал её Гитлеру, который распорядился размножить записку всего в нескольких экземплярах. С её содержанием были ознакомлены под расписку несколько гауляйтеров, два министра, генерал-губернатор Польши, верховные руководители СС и полиции на Востоке, причём после ознакомления они были обязаны вернуть предоставленный им экземпляр.
Перед нападением на Норвегию командующий вермахтом генерал-полковник фон Браухич потребовал от Гитлера предоставить полноту оккупационной власти вермахту и не перебрасывать части СС. Гитлер сначала согласился с этим требованием, но вместе с рейхскомиссаром Йозефом Тербовеном в Норвегию прибыл представитель СС и полиции, потребовавший ввода в страну спецподразделений.
И в дальнейшем вермахт с очень большой неохотой передавал полномочия СС и полиции.
После переброски частей вермахта на запад у Гиммлера появилась полная свобода действий. У него возникла идея размещать в Польше фольксдойче, прибывающих в Третий рейх по программе переселения. Но здесь он натолкнулся на сопротивление гауляйтеров Данцига — Западной Пруссии Альберта Форстера и Восточной Пруссии Эриха Коха.
Форстер, угрожая арестом, заставил сотрудников переселенческой службы прекратить резервирование жилья для репатриантов. Ему также удалось перенаправить корабль с переселенцами в Штеттин. Лишь после нескольких телефонных звонков Гиммлера он согласился разместить их, да и то временно.
Кох, в свою очередь пообещал выслать из Восточной Пруссии профессора Конрада Мейера-Хетлинга, занимавшегося землемерными работами в местах будущего компактного поселения репатриантов.
Геринг в противовес созданному Гиммлером Центральному земельному управлению образовал Службу по управлению секвестрованным имуществом на Востоке. И хотя Гиммлеру и удалось договориться о таком разделении полномочий, при котором земельные вопросы входили в его сферу компетенции, полного контроля он добиться не смог. Бывший друг Гиммлера, министр сельского хозяйства Рихард Дарре не желая конфликтовать с Герингом, подчинил ему созданную в рамках министерства организацию по освоению конфискованных польских сельских хозяйств.
Другим аспектом переселенческом политики стала массовая депортация поляков и евреев из созданных в захваченных польских землях рейхсгау на территорию генерал-губернаторства. Немцы же переселялись во встречном направлении. Также проводилось онемечивание поляков. Для этого дети из польских семей отбирались у родителей и после расового освидетельствования направлялись в детские дома или отделения «Лебенсборна» на территории рейха с последующей передачей в семьи бездетных эсэсовцев.
Проводя такую политику, Гиммлер нажил врагов среди гауляйтеров, обоснованно опасавшихся, что на подконтрольных им территориях вскоре не останется квалифицированных рабочих.
Но самым принципиальным и непримиримым врагом Гиммлера стал генерал-губернатор Ганс Франк, которому действия СС и полиции в Польше не давали возможности выполнять порученное Гитлером задание по удержанию поляков в повиновении. Несмотря на первоначальный успех, Гиммлеру не удалось сместить Франка с должности. Более того, Одило Глобочник и Фридрих Вильгельм Крюгер, руками которых Гиммлер хотел убрать Франка, были сняты с должностей в Польше.
В январе 1941 Гиммлеру ещё раз пришлось почувствовать на себе гнев Гитлера, который пообещал «выкорчевать чёрную чуму, если она не будет беспрекословно повиноваться». Причиной для этого стало самоуправство СД, которая организовала в Румынии путч «Железной гвардии».
Виктор Лутце, в свою очередь, не мог простить себе предательства Рёма и пытался всеми возможными способами отомстить СС. Так как сил СА для этого было недостаточно, он искал союзников в вермахте и НСДАП. Так, во время дела Бломберга — Фрича он пытался договориться с генералами о совместном выступлении против СС. Позже он нашёл общий язык с Франком.
Чтобы не усиливать и без того большое влияние Гиммлера, на должности руководителей гражданских администраций на оккупированных территориях назначались гауляйтеры, чиновники, представители СА, НСДАП и даже трудового фронта, но только не эсэсовцы. Комиссаром Москвы планировалось назначить обергруппенфюра СА Зигфрида Каше, чудом уцелевшего в «Ночь длинных ножей» и саботировавшего действия СС, где только можно.
Окончательное решение еврейского вопроса