”Jag anser att din avskedsansökan strider mot landets intressen och godkänner den inte”, skriver presidenten i ett uttalande.
Zarif meddelade under tisdagen att han avgår, men ansökan är inte giltig förrän den godkänns av presidenten.
En majoritet av ledamöterna i det iranska parlamentet har skrivit under ett brev där man uppmanar Rohani att inte acceptera Zarifs avgång.