Polisens insatsstyrka slog till mot de båda männen under tisdagsmorgonen i tyska Gera, efter beslut av Tysklands riksåklagare Jens Rommel.
Männen är afghanska medborgare och har enligt åklagaren koppling till IS Khorasan, som ofta beskrivs som terrorgruppen IS afghanska gren. De tros ha planerat att öppna eld mot poliser och andra i eller vid riksdagen i Stockholm.
Planerna uppges vara motiverade av koranbränningar i Sverige och uppdraget om att utföra ett attentat ska 30-åringen ha fått från IS Khorasan, som han anslutit sig till i höstas.
Terrorplanerna tros sedan ha mejslats fram av 30-åringen och 23-åringen i nära samråd med terrorgruppen.
De två gripna har enligt åklagarens arresteringsorder kartlagt området runt riksdagshuset online, och försökte vid flera tillfällen komma över skjutvapen utan att lyckas.