Era impiegato nella VI Sezione del Comando di Polizia di Monaco e, in tale mansione aveva l’incarico del controllo e della lotta ai movimenti comunisti. Quando il Nazismo giunse al potere e Heinrich Himmler divenne capo della polizia politica bavarese mentre Reinhard Heydrich diveniva capo della polizia politica di Monaco, Müller rimase al suo posto.
L’esperienza accumulata nella lotta contro i comunisti gli valse ulteriori avanzamenti carriera sino al grado di Kriminal-Inspektor nel novembre 1933. Quando la polizia politica fu centralizzata a Berlino Müller vi si trasferì. Venne utilizzato nella Direzione della polizia segreta di Stato (Gestapa), II divisione, sottodivisione II 1. I suoi compiti rientravano nella lotta anticomunista, antisindacale e le forze di opposizione in generale.

Nella foto:  Riunione alla centrale della Gestapo di Monaco, nel novembre 1939. Da sinistra Franz Josef Huber (comandante della Gestapo a Vienna), Arthur Nebe (direttore della polizia criminale –Kripo–), Heinrich Himmler (comandante in capo delle SS), Reinhard Heydrich (direttore dei servizi di sicurezza delle SS –RSHA–) e Heinrich Müller.

Dall’aprile 1934 venne trasferito alla Divisione II 1 H che si occupava della vigilanza all’interno del Partito Nazista.
Pochi mesi dopo scoppiava la tensione tra Hitler e il leader delle SA Röhm che si sarebbe conclusa con la sanguinosa “Notte dei lunghi coltelli”.
Il 20 aprile 1934 Müller aderiva alle SS con il grado di Sturmführer.
La sua carriera nelle SS fu travolgente: nel 1941 era Gruppenführer. Ciononostante e nonostante una serie di prestigiose onorificenze aderì soltanto nel 1938 al Partito Nazista (tessera n° 4.583.189).
Il vero lavoro di Müller si svolgeva però alla Gestapo e qui – a partire dall’estate 1936 – diresse la divisione Gestapo nell’Ufficio centrale della Polizia di Sicurezza avendo come diretto superiore Heydrich. Quando la Polizia segreta venne ristrutturata e venne creata la Direzione generale per la sicurezza del Reich (RSHA), la Gestapo ne divenne parte con la sigla Ufficio IV. Müller a capo dell’Ufficio IV era il diretto superiore di Adolf Eichmann che dirigeva la sezione IV B 4, la famigerata “Judenreferat” che si occupava della questione ebraica.
Come capo della Gestapo Müller divenne un elemento chiave dell’apparato repressivo nazista creando le strutture periferiche della Gestapo a Vienna e Praga.
Con la guerra la sua attività divenne vastissima: comandando la Sezione IV aveva sotto di sé le sottosezioni A-E che si occupavano di ogni aspetto repressivo compresa la “detenzione di sicurezza” cioèl’internamento nei campi e la lotta alla Resistenza nei Paesi occupati.
In tale carica rimase sino alla fine della guerra.
Sotto la sua supervisione operavano gli Einsatzgruppen incaricati di sterminare gli ebrei nei territori occupati nell’Unione Sovietica.
Pur essendo l’uomo più ricercato dagli Alleati riuscì a far perdere le sue tracce e non venne mai arrestato.