Männen, som kommer från Ukraina, Ryssland och Armenien, ska ha spionerat på en person från Ukraina som befunnit sig i Tyskland. De misstänkta greps i onsdags på ett kafé i Frankfurt efter att ha spanat på individen i fråga.
Tysklands åklagarmyndighet uppger inte vilken nations underrättelsetjänst de tre männen ska ha arbetat för.
Varnar: Ökat hot från Ryssland och Kina
Tidigare i år har flera personer häktats i landet misstänkta för att ha spionerat för Kina. Enligt Tysklands underrättelsechef Thomas Haldenwang ökar hotet från både Ryssland och Kina vad gäller olaglig underrättelseaktivitet.
– Jag talade till och med innan Ryssland invaderade Ukraina om en hotnivå som liknar den under kalla kriget, sade han i april i en intervju med Deutsche Welle.
– Detta har såklart intensifierats i och med kriget och kan handla om cyberspionage, påverkansoperationer och desinformation. Vi måste också hantera faktumet att Ryssland kan utföra sabotageaktioner här, sade Haldenwang.