Het KPMG-rapport naar de omvang van de tabakssmokkel in 2013 is zojuist verschenen. Al sinds 2006 doet KPMG hier onderzoek naar, in opdracht van Philip Morris. Dit jaar heeft de KPMG echter opdracht gekregen van de vier grote tabaksfabrikanten. Het onderzoek blijkt nog even ondeugdelijk te zijn.
Door Frits van Dam

Vanaf 2006 onderzoekt KPMG de omvang van tabakssmokkel in de EU, in opdracht van Philip Morris, de zogenaamde Star-rapporten. Vorig jaar concludeerde het met tabak verweven onderzoeksbureau dat 11 procent van de sigaretten in Nederland in 2012 afkomstig was van de illegale markt. Dat getal was niet gebaseerd op deugdelijk onderzoek, zoals je bijvoorbeeld in dit artikel kunt lezen.

Wie denkt dat KPMG iets heeft geleerd van de kritiek op haar onderzoek, heeft het mis. KPMG heeft een nieuw rapport uitgebracht, het Project Sun, waarin met dezelfde wrakke onderzoeksmethode (zie verder) onderzocht is hoeveel illegale sigaretten er in Nederland worden gerookt.

Het Project Sun is opmerkelijk, want voor het eerst is de complete "bende van vier" – Philip Morris, Japan Tobacco Imperial Tobacco en British American Tobacco – de opdrachtgever van KPMG, en dus niet meer Philip Morris alleen.

Het Sun-rapport is een zeer lijvig boekwerk waarin van 28 EU-landen beschreven wordt hoeveel sigaretten er worden gerookt en hoe hoog het percentage illegale sigaretten is. De methode die in het rapport wordt gehanteerd, is dezelfde als in de vorige rapporten, de zogenaamde "lege pakjes-methode" en interviews. Hierbij worden lege sigarettenwikkels op straat en in vuilnisbakken verzameld. Daarna wordt geanalyseerd wat de herkomst van deze wikkels is.

De cijfers

In 2013 werden in Nederland in 50 steden in totaal 14.000 lege pakjes sigaretten verzameld, gemiddeld 140 pakjes per stad. Volgens het rapport waren er maar weinig verschillen tussen de steden – met wat meer illegale pakjes in Groningen en Noord-Brabant, maar niet in Limburg. Dat is vreemd, want er is geen provincie met zoveel buitenland om zich heen als Limburg.

Uit het onderzoek bleek dat gemiddeld 22.4 procent van de pakjes sigaretten niet in Nederland waren gekocht (pagina 226). Uit interviews met consumenten bleek verder dat 12.1 procent van de sigaretten legaal waren gekocht in het buitenland (pagina 218). Als je die twee getallen van elkaar aftrekt, namelijk het aantal sigaretten van buitenlandse afkomst en het aantal legaal in het buitenland gekochte sigaretten, dan blijkt dat van 10.3 procent van alle sigaretten die in Nederland worden gerookt, de herkomst onduidelijk is en dat het mogelijk om gesmokkelde of illegaal gemaakte sigaretten gaat. In 2012 was het aantal sigaretten van onduidelijke herkomst nog 6 procent hoger.

Hoe indrukwekkend het onderzoeksrapport er ook uitziet, het is methodologisch een puinhoop. Er is geen enkele controle op de manier waarop de pakjes zijn verzameld. Vol trots zeggen de onderzoekers dat het tellen van pakjes sigaretten een exacte methode is en niet gevoelig voor "bias", dus objectief zou zijn. Ze vergeten gemakshalve dat de manier van verzamelen van die pakjes sigaretten, ook wel eens onderhevig kan zijn aan bias.

Om een voorbeeld te noemen: niet iedereen heeft waarschijnlijk even veel zin om in het volle zicht van een terras pakjes sigaretten te gaan rapen. Het feit dat in Limburg niet meer pakjes sigaretten uit het buitenland werden gevonden, geeft ook al te denken. En dan de interviews waarop de onderzoekers het percentage legaal in het buitenland gekochte sigaretten baseerden. Nergens staat hoe de interviews zijn afgenomen en hoe de geïnterviewden zijn geselecteerd.

Conclusie

In een inleiding schrijft KPMG dat dit rapport uitsluitend is geschreven voor haar opdrachtgevers, dus de tabaksindustrie. De naïeve lezer denkt al snel een wetenschappelijk rapport in handen te hebben, vanwege al die indrukwekkende grafieken en tabellen. Maar het is bepaald niet van wetenschappelijk niveau.

De analyse van Pim Levelt, oud-president van de KNAW, over het KPMG-rapport van vorig jaar staat nog steeds als een huis. Levelt schreef: "Over de betrouwbaarheid en validiteit van de gebruikte maten krijgen we slechts globale aanduidingen en de relevante maten worden nergens gepresenteerd. Bovendien is er geen evidentie dat het rapport onderhevig is geweest aan peer review. Deze onvolledigheid impliceert dat de conclusies van dit rapport oncontroleerbaar zijn."

Het onderzoek is een ordinair lobbyinstrument van vier tabaksfabrikanten die met hulp van een prestigieus onderzoeksbureau de politiek en publiek proberen te misleiden, door te suggereren dat de staat miljoenen misloopt aan accijnzen als ze niets doet om smokkel tegen te gaan. Uit het Sun-rapport kun je op geen enkele manier opmaken hoe groot de omvang van de sigarettensmokkel is.

De enige betrouwbare, zogenoemde peerreviewed, publicatie is van de onderzoeksgroep van Joossens (Tobacco Control 2012; 0: 1-7). Uit dit onderzoek dat in 15 Europese landen werd uitgevoerd, bleek dat gemiddeld minder dan 7 procent van de sigaretten uit het zwarte circuit kwam, een aanzienlijk lager percentage dan wat het KPMG vindt. Het KPMG-rapport is niet gepubliceerd in een gezaghebbend tijdschrift en dus nooit geëvalueerd door onafhankelijke reviewers.

"Grondige" pers

Overigens haalt KPMG zelf haar rapport onderuit. In de 'Important Notice' vooraf staat namelijk: "We hebben niet geprobeerd de betrouwbaarheid van onze informatiebronnen vast te stellen."

ANP schreef het persbericht van KPMG (weer) klakkeloos over. En zo verschenen de cijfers bijvoorbeeld op deStentor.nl. Met de huiveringwekkende mededeling dat Nederland volgens KPMG jaarlijks ongeveer 290 miljoen euro aan belastinggeld misloopt als gevolg van sigarettensmokkel. En: "Bij elkaar liepen de EU-landen vorig jaar 10,9 miljard euro aan inkomsten mis, doordat 58,6 miljard illegale sigaretten in omloop waren." Dankzij de "grondige" pers komen fabels als deze de wereld in.

Klik hier om het hele rapport te lezen.
Met dank aan dr. Eva Gutierrez Puigarnau.