Im Oktober 2006 erregte eine Untersuchung großes Aufsehen, in der behauptet wurde, im Irak seien seit der Invasion nicht, wie Präsident Bush gesagt hatte, 30.000 Zivilisten kriegsbedingt ums Leben gekommen, oder 44.000 bis 49.000, wie es ein unabhängiger "Iraq Body Count" ermittelt hatte, sondern nicht weniger als 655.000! Das war die Zahl, die meistens in den Medien zitiert wurde. Die Autoren selbst hatten mit wissenschaftlicher Genauigkeit einen Wert zwischen 426.369 und 793.663 genannt. Die wahrscheinlichste Zahl der Opfer der Invasion sei, so schrieben sie, 654.965.
Die Untersuchung erschien in der angesehenen medizinischen Fachzeitschrift Lancet; die Autoren gehörten zum Teil zur Fakultät für Gesundheits- Wissenschaften der ebenfalls sehr angesehenen John Hopkins University. Vier unabhängige Gutachter hatten das Manuskript begutachtet und keine größeren methodischen Fehler gefunden. Der Text ist hier als PDF-Datei herunterladbar.
Der Artikel erregte damals viel Aufsehen, auch in der deutschen Presse. Jetzt haben zwei Autoren des National Journal sehr gründlich nachrecherchiert, wie diese Untersuchung zustandekam, wie sie durchgeführt wurde und wie sie wissenschaftlich zu bewerten ist. Sie haben dazu die Autoren und ihre Kritiker interviewt.
Das National Journal ist eine Washingtoner Wochenschrift, die nur im Abonnement verkauft wird und die ihre Leser unter Insidern der amerikanischen Politik hat. Sie ist bekannt für ihre ausgewogenen und gründlichen Hintergrund- Berichte.
Dort also erschien vergangene Woche ein Artikel von Neil Munro and Carl M. Cannon zu der Lancet- Untersuchung. Die Autoren haben zahlreiche Ungereimtheiten aufgedeckt, die sie in drei Kategorien fassen:
Nicht wahr, das wäre eigentlich eine Meldung wert? Nicht wahr, diejenigen Agenturen und Medien, die damals die Horror- Zahl verbreitet haben, sollten jetzt doch eigentlich die Aufdeckung der Hintergründe ebenso ausführlich, an eben so herausgehobener Stelle bringen? Sie tun es nicht.
Blicken wir kurz auf die Methodik zurück, wie sie damals mehr oder weniger ausführlich in den Medien berichtet wurde.
Verwendet wurde ein Standard- Verfahren, die sogenannte cluster sample - Methode. Dabei wurden bestimmte Gruppen (clusters) von jeweils 40 benachbarten irakischen Haushalten zufällig ausgewählt; insgesamt 1.850 Familien. Diese wurden nach Todesfällen in der Familie befragt, vor und nach der Invasion.
Die Familien berichteten über 629 Todesfälle in dem Zeitraum nach der Invasion. Dies wurde mit Zahlen verglichen, welche die Familien für die Jahre vor der Invasion angaben. Aus der Differenz wurde auf die 655.000 Opfer hochgerechnet, die den Kriegshandlungen zuzurechnen seien.
Schauen wir nun, wer diese Erhebung durchgeführt hat, unter welchen Bedingungen sie stattfand und wie sich die ermittelten Zahlen zu Vergleichszahlen verhalten.
Wer hat die Untersuchung durchgeführt, wer sie überwacht?
Die Hauptautoren der Untersuchung sind Gilbert Burnham, Riyadh Lafta und Les Roberts.
Les Roberts ist promovierter Umweltingenieur und hat Gesundheits- Wissenschaften studiert. Er ist gegenwärtig Professor an der Columbia University. Roberts ist seit seiner Arbeit in Ex-Jugoslawien in diversen Organisationen in Kriegsgebieten engagiert gewesen und hat versucht, für die Demokratische Partei für den Kongreß zu kandidieren.
Gilbert Burnham ist Professor am Center for Refugee and Disaster Response der John Hopkins University. Hier ist ein Interview, in dem er auf Kritik an der Untersuchung antwortet.
Diese beiden Autoren zeichnen zwar für die Untersuchung mitverantwortlich. Aber keiner von ihnen war an der Erhebung der Daten im Irak beteiligt. Diese oblag ausschließlich dem dritten Hauptautor und seinen Mitarbeitern: Riyadh Lafta.
Lafta war unter Saddam Hussein Beamter im irakischen Gesundheits- Ministerium gewesen und hatte in dieser Eigenschaften Artikel geschrieben, in denen die UN-Sanktionen gegen den Irak verurteilt wurden; in einem davon sprach er von "the nonhumanized economic sanction", der unmenschlichen ökonomischen Sanktion der UNO. Gegenwärtig ist er Professor an der Mustansiriya- Universität in Baghdad.
Wie lief die Datenerhebung ab?
Da keiner der nicht- irakischen Autoren (was angesichts der damaligen Lage im Land keinem von ihnen vorzuwerfen ist) an der Datenerhebung vor Ort beteiligt war, hängt die Zuverlässigkeit der Daten vollständig an der Professionalität und Glaubwürdigkeit der von Lafta rekrutierten und überwachten Interviewer und an dem von diesen angewandten Verfahren. Und da wimmelt es nun geradezu von Problemen:
Zweifellos waren, wie auch die Autoren des National Journal einräumen, die Bedingungen für die Datenerhebung im Irak schwierig. Aber wenn Wissenschaftler keine sicheren Daten haben, dann verzichten sie eben üblicherweise auf eine Publikation.
Nicht daß diese Daten unzuverlässig sind, ist das Problem. Sondern daß sie trotzdem publiziert und weltweit verbreitet wurden; daß sie dadurch eine massive politische Wirkung hatten.
Die Untersuchung erschien in der angesehenen medizinischen Fachzeitschrift Lancet; die Autoren gehörten zum Teil zur Fakultät für Gesundheits- Wissenschaften der ebenfalls sehr angesehenen John Hopkins University. Vier unabhängige Gutachter hatten das Manuskript begutachtet und keine größeren methodischen Fehler gefunden. Der Text ist hier als PDF-Datei herunterladbar.
Der Artikel erregte damals viel Aufsehen, auch in der deutschen Presse. Jetzt haben zwei Autoren des National Journal sehr gründlich nachrecherchiert, wie diese Untersuchung zustandekam, wie sie durchgeführt wurde und wie sie wissenschaftlich zu bewerten ist. Sie haben dazu die Autoren und ihre Kritiker interviewt.
Das National Journal ist eine Washingtoner Wochenschrift, die nur im Abonnement verkauft wird und die ihre Leser unter Insidern der amerikanischen Politik hat. Sie ist bekannt für ihre ausgewogenen und gründlichen Hintergrund- Berichte.
Dort also erschien vergangene Woche ein Artikel von Neil Munro and Carl M. Cannon zu der Lancet- Untersuchung. Die Autoren haben zahlreiche Ungereimtheiten aufgedeckt, die sie in drei Kategorien fassen:
Nimmt man das alles zusammen, dann bleibt von der Horror- Zahl von 655.000 Kriegstoten im Irak nicht viel übrig.Erstens gibt es mögliche Fehlerquellen bei der Planung und Durchführung der Untersuchung. Zweitens werden die Originaldaten zurückgehalten, so daß niemand sie nachprüfen kann; das hat zu dem Verdacht eines Betrugs geführt. Drittens gibt es politische Präferenzen bei Autoren und einem Geldgeber. (Diesen Punkt halte ich für nicht kritisch und werde mich mit ihm deshalb nicht befassen).
Nicht wahr, das wäre eigentlich eine Meldung wert? Nicht wahr, diejenigen Agenturen und Medien, die damals die Horror- Zahl verbreitet haben, sollten jetzt doch eigentlich die Aufdeckung der Hintergründe ebenso ausführlich, an eben so herausgehobener Stelle bringen? Sie tun es nicht.
Blicken wir kurz auf die Methodik zurück, wie sie damals mehr oder weniger ausführlich in den Medien berichtet wurde.
Verwendet wurde ein Standard- Verfahren, die sogenannte cluster sample - Methode. Dabei wurden bestimmte Gruppen (clusters) von jeweils 40 benachbarten irakischen Haushalten zufällig ausgewählt; insgesamt 1.850 Familien. Diese wurden nach Todesfällen in der Familie befragt, vor und nach der Invasion.
Die Familien berichteten über 629 Todesfälle in dem Zeitraum nach der Invasion. Dies wurde mit Zahlen verglichen, welche die Familien für die Jahre vor der Invasion angaben. Aus der Differenz wurde auf die 655.000 Opfer hochgerechnet, die den Kriegshandlungen zuzurechnen seien.
Schauen wir nun, wer diese Erhebung durchgeführt hat, unter welchen Bedingungen sie stattfand und wie sich die ermittelten Zahlen zu Vergleichszahlen verhalten.
Wer hat die Untersuchung durchgeführt, wer sie überwacht?
Die Hauptautoren der Untersuchung sind Gilbert Burnham, Riyadh Lafta und Les Roberts.
Les Roberts ist promovierter Umweltingenieur und hat Gesundheits- Wissenschaften studiert. Er ist gegenwärtig Professor an der Columbia University. Roberts ist seit seiner Arbeit in Ex-Jugoslawien in diversen Organisationen in Kriegsgebieten engagiert gewesen und hat versucht, für die Demokratische Partei für den Kongreß zu kandidieren.
Gilbert Burnham ist Professor am Center for Refugee and Disaster Response der John Hopkins University. Hier ist ein Interview, in dem er auf Kritik an der Untersuchung antwortet.
Diese beiden Autoren zeichnen zwar für die Untersuchung mitverantwortlich. Aber keiner von ihnen war an der Erhebung der Daten im Irak beteiligt. Diese oblag ausschließlich dem dritten Hauptautor und seinen Mitarbeitern: Riyadh Lafta.
Lafta war unter Saddam Hussein Beamter im irakischen Gesundheits- Ministerium gewesen und hatte in dieser Eigenschaften Artikel geschrieben, in denen die UN-Sanktionen gegen den Irak verurteilt wurden; in einem davon sprach er von "the nonhumanized economic sanction", der unmenschlichen ökonomischen Sanktion der UNO. Gegenwärtig ist er Professor an der Mustansiriya- Universität in Baghdad.
Wie lief die Datenerhebung ab?
Da keiner der nicht- irakischen Autoren (was angesichts der damaligen Lage im Land keinem von ihnen vorzuwerfen ist) an der Datenerhebung vor Ort beteiligt war, hängt die Zuverlässigkeit der Daten vollständig an der Professionalität und Glaubwürdigkeit der von Lafta rekrutierten und überwachten Interviewer und an dem von diesen angewandten Verfahren. Und da wimmelt es nun geradezu von Problemen:
Das cluster sample- Verfahren verlangt, daß die Stichprobe strikt zufällig augewählt wird. Wie das genau geschah, ist aber ganz unklar. Im Extremfall könnte es sein, daß ein Interviewer in eine Wohngegend fuhr, sich von Anwohnern sagen ließ, wo in letzter Zeit Menschen ums Leben gekommen seien, und dort seine Interviews machte. Es gab offenbar keine Kontrolle der Interviewer - noch nicht einmal die demographischen Daten der Interviewten wurden erhoben, um nachzuprüfen, ob das Interview überhaupt stattgefunden hatte! Die Interviewer sollten sich Sterbeurkunden zeigen lassen; aber diese wurden nicht fotografiert. Selbst wenn die Interviewer sich genau an die Instruktion gehalten haben sollten, ist unklar, wie diese überhaupt lautete; wie also die Wohnungen der zu Befragenden ausgesucht wurden (sie könnten z.B. überwiegend nah an Hauptstraßen gelegen haben; Dörfer könnten unterrepräsentiert gewesen sein). Daten solcher Untersuchungen müssen Plausibilitäts- Prüfungen unterzogen werden. Die berichteten sind aber in mehrfacher Hinsicht sehr unplausibel. Zum Beispiel wird angegeben, daß nur in 1,7 Prozent der ausgewählten Haushalte niemand angetroffen oder die Auskunft abgelehnt wurde - und das, obwohl die Auskunft immer vom Vater oder der Mutter der Familie eingeholt worden sei, und obwohl jeder Haushalt nur ein einziges Mal aufgesucht wurde. Daß unter diesen Bedingungen von 98,3 Prozent der ausgewählten Haushalte Antworten erhoben werden konnten, ist sehr unplausibel; zumal - wie auch in der Untersuchung steht - die Teilnehmenden unter Drohungen von bewaffneten Gruppen standen. Dies ist nur eine von zahlreichen Ungereimtheiten, die man in dem Artikel des National Journal nachlesen kann. Aufgrund der geringen Stichprobengröße führten einzelne Vorfälle mit zahlreichen Toten zu fragwürdigen Hochrechnungen. Beispielsweise wurde in Bagdad ausgerechnet eine Wohngegend als Cluster ausgewählt, in der (streng genommen nach Abschluß der Erhebung) eine Autobombe zahlreiche Opfer gefordert hatte. Allein aufgrund dieses einen Vorfalls wurde auf 76.000 Opfer von Autobomben hochgerechnet; das Dreifache der Zahl, die sich ohne ihn ergeben hätte. (Der kriegskritische IBC gibt für denselben Zeitraum 5.046 Tote durch Autobomben an). Die Zahl der Menschen, die durch Unfälle mit US-Militärfahrzeugen ums Leben kamen, wurde mit 15.000 angegeben - allein aufgrund von 5 Opfern, die von den Interviewern ermittelt worden waren. Wenn Wissenschaftler auf solche Probleme stoßen, dann ist es üblich, daß man die Originaldaten nachprüft. Diese aber stehen nicht zur Verfügung. Auf Druck von Kritikern wurden zwar einige Tabellen veröffentlicht. Aber gerade diese wecken weiteren Verdacht. Beispielsweise werden die Fälle aufgeführt, wo kein Sterbedokument eingesehen werden konnte. Bei gewaltsamem Tod waren das 22 Fälle - und alle aus der Provinz Niviveh! In allen anderen 15 Provinzen soll es also keinen einzigen Fall gegeben haben, wo die Sterbeurkunde fehlte. Ein Kritiker, mathematischer Statistiker, hat darauf aufmerksam gemacht, daß die Wahrscheinlichkeit für ein solches Datenmuster bei ungefähr eins zu zehntausend liegt.
Zweifellos waren, wie auch die Autoren des National Journal einräumen, die Bedingungen für die Datenerhebung im Irak schwierig. Aber wenn Wissenschaftler keine sicheren Daten haben, dann verzichten sie eben üblicherweise auf eine Publikation.
Nicht daß diese Daten unzuverlässig sind, ist das Problem. Sondern daß sie trotzdem publiziert und weltweit verbreitet wurden; daß sie dadurch eine massive politische Wirkung hatten.
Links zu den bisherigen Folgen dieser Serie findet man hier. Dank an Dr. Franz Hoffmann, der mich auf den Artikel im National Journal aufmerksam gemacht hat. Für Kommentare und Diskussionen zu diesem Beitrag ist in "Zettels kleinem Zimmer" ein Thread eingerichtet. Wie man sich dort registriert, ist hier zu lesen. Registrierte Teilnehmer können Beiträge schreiben, die sofort automatisch freigeschaltet werden.
