83-årige Yoshiro Moris sexistiska uttalande i ett möte med den japanska olympiska kommittén har skapat en kritikerstorm.
– Om vi ökar antalet kvinnliga styrelseledamöter måste vi se till att deras taltid begränsas något. De har svårt att avsluta, vilket är irriterande, sa Mori bland annat enligt Reuters.
Den tidigare premiärministern bad snabbt om ursäkt på en presskonferens men kritiken mot honom har inte tystnat.
Tokyos guvernör Yuriko Koike menar att det är ett stort problem för OS som redan har haft ett tufft år med uppskjutna tävlingar till följd av coronapandemin.
Under fredagen berättade hon bland annat att hon har hört att regeringen fått in klagosamtal från stadens invånare. Och själv var hon inte imponerad.
– Jag blev själv mållös av hans kommentar som aldrig skulle ha gjorts, säger hon.
Mori har varit tydlig med att han inte kommer avgå efter uttalandena och det har inte kommit några uppgifter än om eventuella konsekvenser för chefen.
KLIPP: Avgångskrav mot OS-chef efter sexistisk kommentar