Sadio Mané och Roberto Firmino gjorde gästernas mål i en stark första halvlek.
Mané, vars ledningsmål kom i tionde minuten, har varit glödhet i säsongsstarten och gjorde sitt fjärde mål.
I den andra kom hemmalaget starkt och Liverpoolmålvakten Alissons misstag bjöd in Leicester i matchen.
Alisson försökte dribbla som siste man, tappade bollen till Kelechi Iheanacho som kunde spela fram Rachid Ghezzal till öppet mål och reducering i 63:e minuten.
Det var Liverpools första insläppta mål i ligan denna säsong, men laget kunde hålla undan till fjärde raka trepoängaren. Det här är klubbens bästa säsongsstart sedan 1990.
Chelsea, Tottenham och Watford – de två sistnämnda möts på söndagen – har tre raka segrar inför sina matcher i fjärde omgången.
Premier League
Leicester City
1 - 2
Liverpool
Första halvlek
- 10'0 - 1Mané (Robertson)
- 45'0 - 2Firmino (Milner)
Andra halvlek
- 55'Van Dijk
- Ghezzal60'
- IheanachoAlbrighton61'
- 1 - 2Ghezzal (Maddison)63'
- 71'N. KeitaHenderson
- 71'ShaqiriM. Salah
- OkazakiGray76'
- AmarteyMaddison83'
- N. Mendy88'
- 89'MatipAlexander-Arnold
- 90'+3'Milner
- Ndidi90'+5'