Yttrande om anmälan om misstanke om oredlighet i forskning Dnr SU FV 252-0925-16

Vi vill med denna text kort kommentera den anmälan som kommit in mot oss om oegentligheter i forskning. Pettersson-Lidbom nämner tre uppsatser och nedan kommenterar vi dem i tur och ordning.

Uppsats 1

När det gäller uppsats 1 så vill vi poängtera att den text som Pettersson-Lidbom hänvisar till var ett första utkast skrivet inför ett seminarium vid nationalekonomiska institutionen vid Uppsala universitet. Underlaget distribuerades inför seminariet och var av typen ”work in progress, not to be quoted” och alltså ingen färdig forskningsuppsats.

Första gången uppsatsen fanns för mer allmän spridning och citering var då den kom ut som working paper i slutet av 2006 (se CESifo Working Paper No 1857 som kom ut i november 2006). Uppsatsen publicerades 2008 i tidskriften Journal of Public Economics (Vol. 92, nr 12, s. 2320-2335). I såväl WP-versionen som i den version som slutligen publicerades i tidskrift är den text som Pettersson-Lidbom hänvisar till borttagen och den allmänt vedertagna estimatorn regression discontinuity design som seminarietexten beskrev används inte heller i uppsatsen, då en annan estimator (regression kink design) visade sig vara mer lämplig för det statsbidragssystem som vi analyserar i uppsatsen.

Uppsats 2

När det gäller uppsats 2 kommenterar vi i det här yttrandet de anklagelser som gäller undanhållande av relevanta resultat, samt deponering av data hos SND. Vi bemöter nedan dessa i tur och ordning. För övriga kommentarer hänvisar vi till våra tidigare svar på Nekby och Pettersson-Lidbom (2012 och 2015) vilka bifogats anmälan.

Anklagelsen om exkluderade resultat

Petterson-Lidbom skriver i sin anmälan att vi utgått från nio olika mått, och selektivt exkluderat resultat för sex av dessa på ett sätt ”som annars skulle ha omkullkastat huvudresultaten i uppsatserna”.

Det är nu många år sedan vi inledde arbetet med uppsatsen, och vi har inget minne av att vi vid något tillfälle faktiskt studerat de tre frågor som gäller huruvida man bör acceptera färre flyktingar, minska inkomstskillnaderna i samhället eller minska biståndet till tredje världen, då vi inte ansåg de vara relevanta för vårt syfte.

Däremot stämmer det att vi använde följande sex mått i de tidiga versionerna av artikeln (som vi också presenterade på flera konferenser): frågor om huruvida man bör 1) behålla kärnkraften, 2) öka de privata inslagen i sjukvården, 3) minska anslagen till försvaret, 4) minska de sociala bidragen, 4) öka det ekonomiska stödet till invandrare så att de kan bevara sin egen kultur, och 6) minska den offentliga sektorn.

De tre första av dessa frågor såg vi som ”placebo-frågor”, alltså frågor där vi inte förväntade oss att finna någon effekt av flyktinginvandring på frågan, enligt den teoretiska modell som låg bakom vår undersökning. Detta gällde frågorna om att behålla kärnkraften, ökad privatisering av sjukvården samt minskade anslag till försvaret. Av dessa tre presenteras i den slutliga versionen två frågor, nämligen de som rör privat sjukvård respektive kärnkraft. Att vi tog bort frågan som handlar om försvaret beror på att vi kom till slutsatsen att det a priori var tänkbart med en direkt effekt av flyktinginvandring på stödet för försvaret, till exempel genom en ökad nationalism. Därigenom blev frågan olämplig som placebofråga. Resultatet för denna var dock detsamma som för de två placebofrågor som kvarstod i uppsatsen: ingen statistiskt säkerställd effekt.

Vad gäller de tre kvarvarande frågorna, ”Minska de sociala bidragen?”, ”Öka det ekonomiska stödet till invandrare så att de kan bevara sin egen kultur?” och ”Minska den offentliga sektorn?”, så stämmer det att vi i tidiga utkast och konferenspresentationer redovisade resultat för alla dessa. Varför har vi i artikelversionen då bara kvar frågan om sociala bidrag? För det första tyckte vi att frågan om nivån på sociala bidrag (det vill säga om man bör ”Minska de sociala bidragen?”) var den fråga som var den bästa indikatorn på stödet för omfördelning från rika till fattiga. Formuleringen ”sociala bidrag” är nära länkad till termen ”socialbidrag” vilket är ett direkt mått på samhällets stöd till den som saknar egen försörjning.

Vi tyckte emellertid också att de andra två frågorna var intressanta. När det gäller storleken på offentliga sektorn (”Minska den offentliga sektorn?”) tyckte vi det var intressant att undersöka om förändringar i viljan att omfördela från rika till fattiga spiller över på inställningen till offentliga sektorn. Offentliga sektorn omfattar emellertid, särskilt i ett land som Sverige, fler aspekter än omfördelning från rika till fattiga – t ex omfördelning över livscykeln, från individer utan barn till individer med barn, etcetera, och vi såg det därför som ett mått som var mer indirekt länkat till viljan till omfördelning från rika till fattiga. När det gäller den andra frågan, huruvida man bör ”Öka det ekonomiska stödet till invandrare så att de kan bevara sin egen kultur?”, såg vi vidare denna som en indikator på om det var förändringar relaterade till invandring som låg bakom förändringen i inställningen till sociala bidrag, men inte direkt som ett mått på omfördelning från rika till fattiga i sig, eftersom frågan är formulerad just som ekonomiskt stöd för att invandrare ska kunna ”bevara sin egen kultur”.

De resultat vi fann i dessa tidiga utkast var: i) Inget tecken på att flyktinginvandringen hade lett till någon förändring i stödet för offentlig sektor. Närmare bestämt fann vi ganska små koefficientskattningar och standardfel som var stora i relation till koefficientskattningen, vilket betyder att vi varken kunde belägga eller utesluta någon effekt på den variabeln. ii) För måttet på stödet till invandrare fann vi effekter som gick i samma riktning som effekten för sociala bidrag men som var något mer osäkra. (Detta är också i stort kontentan av de resultat som rapporteras i Tabell 1 i Nekby och Pettersson-Lidbom, 2015, det vill säga där författarna redovisar de resultat som ges för de här tre måtten när de replikerar vår slutgiltiga analysmetod.)

Vi valde därför att fokusera uppsatsen på måttet sociala bidrag, då vi ansåg detta mått vara mest relevant för vår frågeställning, medan de andra måtten inte tillförde någon för vår specifika forskningsfråga relevant information. Genom att fokusera på frågan om sociala bidrag kunde vi hålla uppsatsen mer kort och koncis. De diskussioner som förts på seminarier och konferenser där dessa tidiga versioner av uppsatsen presenterats styrkte oss i detta val. I efterhand kan man argumentera för att vi kunde ha presenterat alla resultaten, åtminstone i kortfattad form. Vi menar emellertid att detta inte hade förändrat slutsatserna i vår artikel.

Deponering av data hos SND

Pettersson-Lidbom skriver i sin anmälan att ”Dahlberg et al. (2012) har också brutit mot god vetenskaplig praxis genom att på felaktiga grunder fått dispens från tidskriftens datapolicy om att deponera data på tidskriftens hemsida. Författarna hävdar att de inte får lämna vidare data p.g.a. avtal med Svensk Nationell Datatjänst, SND. Men det är vilseledande eftersom SND bara är en

forskningsinfrastruktur utan äganderätt av data.” Som framgår av den mailkonversation vi haft med SSD/SND sedan 2008, och som bifogas detta yttrande, är detta direkt felaktiga påståenden av Pettersson-Lidbom.1

När vi påbörjade arbetet med uppsatsen i början av 2008 var SCB ansvariga för det datamaterial, ”Svensk Valundersökning”, som vi använder i uppsatsen. SCB ansåg det vara känsligt att i datamaterialet lägga till information om i vilken kommun de svarande individerna bodde. I slutändan fick vi tillstånd till detta, men premisserna var att vi inte fick lämna data vidare till tredje part. I februari 2012 frågade vi uttryckligen om vi fick lämna data vidare till en kollega (Pettersson-Lidbom) som ville replikera våra resultat, men fick avslag (se den bifogade mailkonversationen). Den lösning av tillgängliggörandet av våra data för replikering, deponering hos SND, föreslogs av SND/primärforskarna själva och kom inte från oss (se den bifogade mailkonversationen).

Pettersson-Lidbom skriver också att vi också har ”valt den strängaste förutsättningen för tillgängliggörandet av data av SND nämligen ”Kräver alltid primärforskarens/kontaktpersonens tillstånd”. Alltså, för att få tag i dessa data så måste alltid författarna ge sitt tillstånd och kan således kontrollera vem som kan få tillgång till data och även identiteten på ansökningspersonen.” Vi valde den formen av tillgängliggörande för att kunna få information om hur datamaterialet spreds. Det var emellertid inte vår avsikt att hindra någon att få tillgång till materialet; tvärtom så har vi har fått ett antal sådana förfrågningar om tillgång till datamaterialet, och vi har aldrig nekat någon tillgång.

Uppsats 3

När det gäller uppsats 3 så hävdar Pettersson-Lidbom att vi ”avsiktligen uteslutet andra och mera sanningsenliga resultat från tabellen p.g.a. att de inte ger stöd för slutsatsen om ett estimat kring 3” och att detta ”strider mot det sätt som resultaten skall presenteras i en regression-kink design”. Bägge dessa påståenden är felaktiga. Det stämmer visserligen att vi har uteslutit resultat i tabellen för skattningar med en smal bandvidd och flera polynom. Det stämmer däremot inte att vi gjort detta för att dessa resultat strider mot vår slutsats eller att det är gängse att man ska redovisa dessa resultat när man använder en regression-kink design.

Anledningen till att vi har uteslutit resultaten ur tabellen är att då det finns väldigt få observationer precis kring brytpunkten så kommer det att vara i stort sett omöjligt att kontrollera för högre polynom och samtidig identifiera effekter utifrån en förändring i lutningen, vilket en RKD syftar till. I uppsatsen skriver vi därför ”Note that with the two narrowest bandwidths, due to the sample reduction, we only estimate with   ̅=1” (sid 181 i den publicerade tidskriftsversionen). Senare Monte-Carlo evidens (Ando, 2013) stödjer vår intuition: högre polynomer och små bandvidder leder ofta till icke-precisa och felaktiga estimat i små populationer. När det gäller det andra påståendet så vill vi påpeka att när vi skrev uppsatsen (och framför all när den påbörjades) så fanns väldigt få tidigare uppsatser som tillämpade denna estimator (faktum är att uppsats 1, som vi diskuterar ovan, var en av de allra första tillämpningarna av RKD), så någon etablerad standard om hur resultaten för denna av typ av estimator skulle redovisas fanns inte.

Ando, M (2013), ”How much should we trust regression-kink-designs estimates?”, Working Paper 2013:22

1 Denna anklagelse är också en av flera felaktigheter i det brev till redaktörerna för Journal of Political Economy som Pettersson-Lidbom valt att bifoga sin anmälan.

Uppsala och Stockholm, 14 april 2016

Matz Dahlberg, Karin Edmark, Heléne Lundqvist och Eva Mörk