Förlust i första kvalmatchen mot Danmark – efter det har Finland gått som tåget i EM-kvalet.
På bortaplan i Kazakstan inkasserades fjärde raka segern. Stor hjälte blev Oliver Antman, 22.
Yttern kombinerade fint med Benjamin Källman och kunde trycka in matchens enda mål drygt tio minuter före slutet.
– Till slut kom den stora målchansen och då fanns det inget annat än att sätta dit den, säger Antman till Yle.
22-åringen, som till vardags spelar i danska Nordsjälland, debuterade i landslaget i slutet av förra året och har sedan dess gjort stor succé. Målet mot Kazakstan var hans femte mål på sju matcher.
Toppar grupp H
Segern innebär ett jättekliv mot EM i Tyskland 2024.
Finland toppar gruppen efter fem spelade matcher, tre poäng före Kazakstan på andraplats och fem poäng före Danmark på tredjeplats. De första två lagen i gruppen blir direktkvalificerade till mästerskapet.