van der Poel ledde tävlingen inför lördagens tuffa etapp där han tappade över 20 minuter och rasade ner till 23:e plats i sammandraget.
– På grund av coronaviruset var det inte möjligt att köra hela Tour de France och vara på topp i OS, säger van der Poel enligt Reuters.
”Jag är besviken, men det är rätt beslut,” säger slovenen Roglic i ett uttalande.
Touren går nu in i den nionde etappen, men det var i den tredje som Roglic kraschade och slog sig så illa att han fortfarande har smärtsamma blåmärken som hindrar honom från att cykla.
”Vi fattade det här beslutet tillsammans med teamet, det finns ingen mening med att fortsätta”, säger Roglic i ett uttalande.
Roglic var en av storfavoriterna i årets tour, men efter att ha gått i mål mer än 35 minuter efter lördagens etappsegrare, Dylan Teuns, är alla drömmar om en seger borta.
”Jag hade jätteont. Det var bara för mycket för min kropp och jag kan inte tävla. Jag är besviken, men det är rätt beslut,” säger Roglic som nu fokuserar på OS i Tokyo.