Vagic är Malmö-produkten som varit i klubben sedan han var sex år gammal och har ett SM-guld med MFF.
Affären ska enligt uppgifter till SVT Sport presenteras nästa vecka och Rosenborg köper loss honom för tio miljoner kronor, enligt uppgifter till SVT.
Vagic har i år startat sju av 13 matcher för Malmö i allsvenskan. Han blir en i raden av flera unga svenska spelare som säljs till andra klubbar i Norden.
Vagic kommer inte till spel i kvällens möte Champions League-kvalet mot skotska Rangers.