Gästande PSG tog ledningen redan efter sex minuter då Dayot Upamecano stod för en helt misslyckad hemåtpassning till målvakten. Angel Di Maria tog till vara på det och satte 1-0.
Kort därefter hade Leipzig en dubbelchans att kvittera, men Keylor Navas imponerade i målet.
Sedan var det nära att Di Maria skulle kapitalisera på Upamecanos misstag ännu en gång.
Bollen tog på Leipzig-backens hand och PSG fick straff, men Peter Gulasci stod för en imponerande räddning.
Rött kort för PSG
Några minuter innan halvtidspausen kunde Leipzig istället kvittera. Emil Forsberg hittade Angelino som hittade Christopher Nkunku som dundrade in 1-1.
I den 57:e minuten kom sedan avgörandet. Ett inlägg med adress Forsberg tog på Prsenel Kimpembes arm och efter videogranskning blåste domaren straff.
Forsberg fick förtoendet och satte 2-1 snyggt i målvaktens högra hörn.
– Jag tror alltid att jag ska göra mål. Det är viktigt att ha det självförtrondet. Jag visste att jag skulle klara det och jag är glad att jag gjorde det, säger svensken om straffen.
Då var det uppförsbacke för PSG, men det skulle bli värre. I den 69:e minuten kom mittfältaren Idrissa Gana Gueye in sent i en duell om bollen med Amadou Haidara och därmed fick senegalesen sitt andra gula kort.
På tilläggstid fick sedan även Kimpembe sitt andra gula kort. Nu är både han och Gana Gueye avstängda i returmötet med Leipzig.
Forsbergs mål blev det avgörande i matchen och med en kvart kvar byttes svensken ut till förmån för Justin Kluivert.
Med sju mål i Champions League delar Forsberg nu titeln som klubbens bästa målskytt i Champions League med Timo Werner. Werner lämnade i somras Tyskland för Londonklubben Chelsea.
Tufft läge för PSG
Det här var första gången som PSG tappade en ledning till förlust i Champions League-gruppspelet sedan 2014. För parisarna, som spelade CL-final i augusti, ser det nu lite tufft ut i kampen om avancemang.
De är tre poäng efter Leipzig och Victor Nilsson Lindelöfs Manchester United, som har tagit två segrar vardera.
– Vi pratade om det före matchen, att det var en viktig match för att hållas med i kampen. Att vi klarar av den pressen och att vi lyckas vinna är fantastiskt. Jag är extremt glad, säger Forsberg.
Hälften av matcherna återstår i gruppspelet.