Händelserna går tillbaka till 2016 när fransmannen Agnel var 24 och hade sex med en 13-åring som följde med i Agnels träningsgrupp runt om i världen.
– Att det bedöms som våldtäkt eller sexuella övergrepp beror det på att det finns en betydande åldersskillnad, säger åklagaren i Mulhouse.
Tidigare i år antog det franska parlamentet en lag som kategoriserar det som våldtäkt eller sexuellt övergrepp att ha sex med en person under 15 år.
Agnel, som tog guld på 200 m fritt och 4x100 m fritt i OS i London 2012, greps av fransk polis i Paris i torsdags efter en anmälan av en person som tränade i Agnels grupp i Mulhouse mellan 2014 och 2016, skriver L'Equipe. Ärendet har nu gått vidare till åklagarmyndigheten i Mulhouse.
Nuvarande idrottsministern tillhörde samma klubb
Flera simmare har hörts i utredningen de senaste veckorna. Den nuvarande idrottsministern i Frankrike, Roxana Maracineanu, som tog OS-silver i ryggsim 2000 tillhörde under sin aktiva karriär också Mulhouse simklubb.
Samtidigt har det franska simförbundet inlett en utredning.
Agnel medger att han haft sex med flickan, som är dotter till en av Agnels tränare, och hävdar att det varit ömsesidigt.
29-årige Agnel avslutade sin simkarriär endast 24 år gammal strax efter OS i Rio de Janeiro 2016 där han misslyckades att gå vidare från försöken.
Han är fortfarande världsrekordinnehavare på 400 m fritt i kortbana med tiden 3.32,25 från 2012.