Orsaken är rädsla för ökad spridning av coronaviruset, där flera smittsamma varainter har upptäcks i flera länder, enligt källor till Kyodo News.
En färsk opinionsundersökning visar att 77 procent av japanerna är emot att släppa in utländska åskådare på OS-arenorna.
I april månad uppges Japan också ta ställning till hur stort antal åskådare som får komma in överhuvudtaget på arenorna under OS.
Sommarspelens öppningsceremonin den 23 juli kommer att ske utan publik.
OS kommer att arrangeras i Tokyo mellan den 23 juli och 8 augusti, följt av paralympics mellan den 24 augusti till 5 september.
KLIPP: Tre frågor om friidrottarnas OS-chanser (26 sep 2020)