Olsen kom in i matchen tidigt då han med sina fingerspetsar lyckades styra ut Lazioanfallaren Ciro Immobiles skott till hörna.
Roma tog sedan ledningen strax innan halvtid då bollen hamnade hos inhopparen Lorenzo Pellegrini som klackade in bollen.
Dryga 20 minuter in i andra halvlek tvingades sedan Olsen kapitulera. Också den här gången var det Immobile som fick iväg ett skott, men den här gången gick det in. Det efter en rejäl försvarstabbe av Federico Fazio.
Men Roma svarade snabbt. Den tidigare Laziobacken Aleksandar Kolarov fick ett bra frisparksläge och då krutade han in 2-1 genom muren.
I den 86:e minuten fick sedan Fazio sedan revansch då han nickade in Pellegrinis frispark.
Nu är Roma femma i Serie A, en poäng bakom stadsrivalen Lazio.