Matchen startade i högt tempo åt båda håll, men efter en tid tog serberna över.
Serbiens stjärnor Sergej Milinkovic-Savic och Aleksandar Mitrovic hade bra lägen, men Navas räddade allt.
I den 43:e minuten drog Milinkovic-Savic till med en riktigt snygg cykelspark, men inte heller den gick in.
Drömmålet kom sedan i den 56:e minuten och det blev också matchens enda fullträff.
Med fem minuter kvar att spela föll Mitrovic i straffområdet, men domaren Malang Diedhiou att fria.
Alldeles i slutet av matchen tog en av Costa Ricas ledare bollen i handen och vägrade ge den till en förbannad Nemanja Matic.
Nu ser det mörkt ur för Costa Rica, som gjorde succé i VM 2014. De två övriga lagen i gruppen är Brasilien och Schweiz som möts senare ikväll.
I Costa Rica blev den tidigare AIK-spelaren Celso Borges den som har gjort tredjeflest landskamper för landet, 114 stycken.
Världsmästerskapet i fotboll
Costa Rica
0 - 1
Serbien
Startelvor
Costa Rica: Keylor Navas; Cristian Gamboa, Giancarlo Gonzalez, Johnny Acosta, Oscar Duarte, Francisco Calvo; Johan Venegas, David Guzman, Celso Borges, Bryan Ruiz, Marcos Urena
Serbien: Vladimir Stojkovic; Branislav Ivanovic, Nikola Milenkovic, Dusko Tosic, Aleksandar Kolarov; Dusan Tadic, Sergej Milinkovic-Savic, Adem Ljajic, Nemanja Matic, Luka Milivojevic, Aleksandar Mitrovic