När ordinarie speltid var slut var ställningen 4–4, och efter en mållös förlängning avgjordes det hela med straffläggning som slutade till Rangers fördel.
New York-laget har nu vunnit fem matcher på straffar den här säsongen, och förlorat en på samma sätt.
Storspelande målvakten Henrik Lundqvist gjorde 27 räddningar för New York.
Dubbla svenskmål
– Vi behövde verkligen vinna, säger han till nhl.com.
Lundqvist säger också att laget borde ha kunnat avgöra under ordinarie speltid, men att man var redo för fajt när det blev förlängning.
– Grabbarna skärpte verkligen till sig, säger han.
Både Mika Zibanejad och Fredrik Claesson gjorde mål under ordinarie matchtid. Zibanejad satte även Rangers första straff och Claesson noteras för en assist.
Straffräddning av Lundqvist
Henrik Lundqvist räddade Floridas första straff, slagen av Alexander Barkov, och det var den räddningen som till slut avgjorde matchen.
Efter matchen säger Mika Zibanejad att laget bitvis spelar som det är tänkt, men att de gör flera misstag.
– Vi måste vara mer konsekventa genom hela matchen, säger Zibanejad.
– Men det är enklare att ta till sig lärdomar när man vinner. Det är lättare att ta in vad man borde göra bättre.