Pocházel z chudé rolnické rodiny žijící v ukrajinské vesnici Kalinovka v Kurské oblasti, získal základní vzdělání. Do bolševické strany vstoupil v roce 1918 a o rok později dobrovolně vstoupil do Rudé armády. Když se v roce 1922 vrátil z fronty domů, dozvěděl se, že jeho žena, matka dvou dětí, zemřela hladem. Podruhé se oženil v roce 1924, vzal si Ninu Petrovnu. V roce 1924 začala
jeho stranická kariéra a v době boje o moc v komunistické straně po Leninově smrti (1924) - podpořil Stalina. Do konce 20. let získal mnoho úspěchů. V roce 1929 odjel do Moskvy, kde začal studovat na průmyslové akademii.