Real Madrid slutade den här säsongen tvåa i ligan och gick till semifinal i Champions League.
Men det var inte tillräckligt för klubbledningen, som sparkar honom.
På en presskonferens på måndagskvällen bekräftade klubbens president Florentino Perez det som det hade ryktats om tidigare under dagen: Ancelotti får inte fortsätta som tränare för laget.
– Det här jobbet (att vara president) är inte lätt. Men om vi anser att vi behöver göra en förändring är vi skyldiga att göra det, sade Perez på presskonferensen.
Dubbla titlar i fjol
Därmed blev det bara två säsonger i Real Madrid för Ancelotti. Hans första säsong slutade med en seger i spanska cupen och seger i Champions League, samt en tredjeplats i ligan.
Vem som ska ta över klubben är oklart, men det ryktas om att jobbet kommer att gå till Napolis Rafael Benitez. Benitez har tidigare tränat bland annat Liverpool, Inter och Chelsea.
– Nästa vecka vet vi vem som blir tränare, säger Perez.
Ancelotti ryktas vara aktuell för Milan.