Underrättelsetjänsten CIA:s chef Mike Pompeo kommer att ersätta Tillerson, enligt presidenten.
Gina Haspel, som arbetat som biträdande direktör för CIA tar över som chef för underrättelsemyndigheten.
Trump bad Tillerson att kliva åt sidan redan i fredags, enligt Washington Post som var först med nyheten.
Tillerson avbröt sin Afrikaresa i måndags och återvände då till USA.