Sverige tog ledningen tidigt då Jesper Frödén krigade in pucken redan efter åtta minuter.
Sverige försvarade sig sedan mycket bra och Adam Reideborn imponerade i kassen. Man höll ledningen fram tills den 53:e minuten då det rasade.
Först gjorde Anton Slepysjev 1-1 och bara tolv sekunder senare tog ryssarna ledningen genom Alexander Barabanov.
– Det här är en mardröm för Sverige, säger Jonas Andersson.
Men det dröjde inte länge innan Tre Kronor reste sig igen. Victor Olofsson klev fram då han behövdes som mest och sköt in kvitteringen.
Matchen gick sedan först till förlängning och sedan straffar. Där avgjorde ryssarna och skickade Tre Kronor ur turneringen. Storstjärnan Vladimir Tarasenko satte den avgörande straffen i den femte omgången.
– Det är det största misslyckandet i modern tid. Det är ett fiasko, säger SVT Sports expert Jonas Andersson.
– Såklart jättetufft. Det har varit några tuffa sista dagar där vi har gett allt för att ge oss chansen att gå vidare. Att falla på mållinjen är tufft, säger Rakell.
Sverige hade inte varit utanför topp åtta i ett ishockey-VM sedan 1937, men efter fyra förluster i gruppspelet hände det alltså i Riga i år.
Det är också första gången sedan 1985 som man inte tog sig vidare från ett inledande gruppspel.
VM
Ryssland
3 - 2
Sverige
Första perioden
- 08:060-1Frödén (Lindberg/Kempe) PP1
Tredje perioden
- 1-1Slepyshev (Orlov)12:34
- 2-1Barabanov (Tarasenko/Nesterov)12:46
- 15:172-2Olofsson (Sellgren/Lundeström)
Straffläggning
- 3-2Tarasenko PS65:00