Det är 28 år sedan klubben senast nådde så långt i världens äldsta, fortfarande pågående fotbollsturnering.
Josip Drmic kvitterade i andra halvlek Jan Vertonghens ledningsmål för Tottenham och tog matchen till en mållös förlängning och ett avgörande på straffar. Där var Krul skillnaden mellan lagen.
Sergio Agüero förde Manchester City vidare med matchens enda mål borta mot Championshipklubben Sheffield W.
Leicester fick jobba hårt för att spräcka Birminghams nolla hemma på King Power Stadium. Först efter 82 minuter avgjorde Ricardo Pereira och tog Leicester till kvartsfinal.
Derby–Manchester United, den återstående åttondelsfinalen, spelas på torsdagskvällen.
FA-cupen
Tottenham Hotspur
2 - 3
1-1 (Fulltid)
Norwich City
Så spelas kvartsfinalerna
Sheffield United–Arsenal
Newcastle–Manchester City
Norwich–Derby/Manchester United
Leicester–Chelsea.