Mertens, rankad 23:a i världen, gick in i turneringen i Istanbul som favorit. Men den förstaseedade belgiskan fick en svår resa mot Peterson.
Svenskan, rankad 76:a i världen, stod för en stark vändning i första set. Mertens hade gått upp till 5-3 men Peterson reducerade och bröt sedan belgiskans serve och kunde till slut ta hem första set med 7-5.
– Jag tycker att jag hängde i bra och hade som mål att jobba på med mitt eget under varje boll vilket tillslut lönade sig. Vi har alltid haft tuffa matcher och denna gång ville jag verkligen trycka på, säger hon till SVT Sport.
I andra set kopplade Peterson greppet tidigt och vann med 4-1 innan Mertens kastade in handduken på grund av skadekänning.
– Hon fick ont i benet men exakt vad vet jag inte riktigt. Hoppas att hon återhämtar sig fort, säger Peterson.
I åttondelsfinal möter Peterson Yulia Putintseva från Kazakstan, rankad 51:a i världen.