Det är tredje gången på fyra år som Bayern München åker ur tyska cupen redan i andra omgången.
Stor hjälte för Saarbrücken blev Marcel Gaus som avgjorde i den sjätte stopptidsminuten.
Bayern tog ledningen tidigt genom veteranen Thomas Müller, men hemmalaget kvitterade på stopptid i första halvlek genom Patrick Sontheimer.
Matchen såg sedan ut att gå mot förlängning när Gaus chockade Bayern med ett sent vinstmål.