Pontus Holmberg inledde den svenska poängfesten med att göra 1–0 för Toronto efter knappt två och en halv minut i den första perioden.
Tjecken Filip Chytil svarade med att göra två mål för Rangers i den andra perioden.
Svenske Timothy Liljegren kvitterade sedan för Toronto till 2–2 i den tredje perioden, framspelad av lagkamraten William Nylander.
Det blev Nylanders 400:e poäng i NHL-karriären.
– Det är ett steg på vägen. Det är inget jag firar eller så, det gäller bara att fortsätta, säger han enligt Toronto Sun.
Målet tog matchen till förlängning. Där spelade Liljegren fram Mitchell Marner som gjorde mål och avgjorde matchen efter 19 sekunder.