I den sjunde spelminuten slarvade Milan i försvaret och Tom Rogic kunde skjuta in 1-0. Sju minuter senare blev Odsonne Edouard frispelade och han kunde retfullt enkelt lyfta in 2-0.
En tuff uppförsbacke som saknar Zlatan Ibrahimovic, som är skadad.
Men Milan reste sig – med besked.
Två mål på två minuter
I den 24:e minuten sköt Hakan Calhanoglu in 1-2 på frispark.
I den 26:e minuten tryckte Samu Castillejo in 2-2 från nära håll.
Sedan klev norrmannen Jens Petter Hauge fram och avgjorde matchen.
Fint solomål
Fem minuter in i andra halvlek tog han sig in från vänsterkanten. Han dribblade sig igenom Celtics försvar och sköt in 3-2.
Med tio minuter kvar av matchuret bjöd Hauge på en fin assist till Brahim Diaz som från nära håll tryckte in 4-2.
Milan är tvåa i sin grupp och är klart för slutspel i Europa League. Lille toppar gruppen. Det återstår en match.