De meddelar han själv på X efter att regeringssamtalen med socialdemokratiska SPÖ under lördagskvällen brutit samman.
– Vi har försökt med allt. Men det har visat sig omöjligt att nå överenskommelse om väsentliga nyckelfrågor, så det finns inga förhoppningar om en positiv framtid för Österrike, säger ÖVP-ledaren Nehammer enligt landets public service-bolag ORF.
SPÖ och konservativa ÖVP har styrt Österrike tidigare men fick i valet i september minsta möjliga majoritet i parlamentet med sammanlagt 92 av de 183 platserna.
Avgår även som partiledare
Karl Nehammer meddelar även att han kommer att avgå som partiledare för ÖVP de närmaste dagarna.
– Efter att samtalen har brutit samman kommer jag att agera på följande sätt. Jag kommer att avgå som förbundskansler och även som ordförande för folkpartiet under de närmaste dagarna och underlätta en ordnad övergång, säger han.
Den österrikiske tidningen Krone skriver att partistyrelsen ska sammanträda vid 10-tiden på söndag, och tre namn, Karoline Edstadler, Wolfgang Hattmannsdorfer och Sebastian Kurz, ryktas vara möjliga efterträdare till Nehammer.
Sebastian Kurz avgick som Österrikes förbundskansler 2021 efter att ha anklagats för korruption. Kort efter sin avgång meddelade han att han avsåg att lämna politiken helt. Enligt Krone finns det nu en möjlighet att han återvänder till politiken.
Uppgifter till tidningen gör dock gällande att Karoline Edstadler, som ska ha mäktiga förespråkare i partiet, är den mest framträdande motståndaren till Kurz.