Die allererste Ausgabe von „The Joy of Cooking“ wurde im Eigenverlag von theSt. Louis-Gastgeberin und Hausfrau Irma Rombauer in den ersten Jahren der Weltwirtschaftskrise. Es handelt sich um einen relativ bescheidenen Band, in dem etwa vierhundertfünfzig Rezepte von Familie und Freunden gesammelt wurden, geschmückt mit gesprächigen Kopfnoten und Abschweifungen zu den Feinheiten der Unterhaltung, Ernährung, Menüplanung und Versorgung. Seit dieser Originalausgabe ist das Buch zu einem der beliebtesten Rezepte geworden meistverkauften Kochbücher aller Zeiten. Außerdem hat es acht bedeutende Überarbeitungen erfahren: Rombauers Liste der Rezepte explodierte in die Tausende; ganze Kapitel wurden hinzugefügt (Tiefkühldesserts) und gestrichen (Kriegszerlegung). („The“ wurde Mitte der sechziger Jahre aus dem Titel gestrichen.) Die Ausgabe von 1997 war ein besonderer Aufbruch, voller Beiträge von Superstar-Köchen und prominenten Food-Autoren. „Joy“-Puristen betrachteten es als eine Art Häresie (dieMalunvergesslichnannte es„die neue Coca-Cola unter den Kochbüchern“) und waren erleichtert, als die Ausgabe von 2006 wieder in klassischer Form erschien.
Abgesehen von diesem Schluckauf wurde „Joy“ in seinem 87-jährigen Bestehen kaum kritisiert. Klug, herrisch, witzig, ein bisschen kitschig: Das Buch war in unzähligen amerikanischen Küchen ein fester Bestandteil, ein beliebtes Geschenk für Frischvermählte und frischgebackene Absolventen, und seine Anhänger verbreiten das Evangelium an ihre eigenen Kinder. (Als das zerlumpte Exemplar der Ausgabe von 1964 meiner Eltern vor ein paar Jahren einem Wasserschaden zum Opfer fiel, überbrachte meine Mutter die Nachricht, als wäre ein Verwandter gestorben.) Das Schlimmste, was über das Buch gesagt wurde, ist, dass es eher als allgemeines Nachschlagewerk geeignet sei und nicht als Rezeptrezept, was – angesichts der Fülle an Rezepten in der Kochwelt und des Mangels an wirklich nützlichen Nachschlagewerken – eigentlich eine Art Kompliment ist.
Daher war es ein Schock, als 2009 die renommierte Fachzeitschrift erschienAnnalen der Inneren Medizinveröffentlichte eine Studie mit der pointierten Überschrift „The Joy of Cooking Too Much“. Der Hauptautor der Studie, Brian Wansink, der das Food and Brand Lab der Cornell University leitet, hatte sich 2005 mit einer Reihe aufsehenerregender Studien zum Essverhalten einen Namen gemacht. Seine berühmte Studie „BottomlessBowls“ kam beispielsweise zu dem Schluss, dass Menschen unbegrenzt Suppe essen, wenn ihr Vorrat ständig aufgefüllt wird. Für „The Joy of Cooking Too Much“ hatten Wansink und sein häufiger Mitarbeiter, der Professor an der New Mexico State University, Collin R. Payne, die Rezepte des Kochbuchs in mehreren „Joy“-Ausgaben, beginnend mit der Version von 1936, untersucht und festgestellt, dass ihre Kalorienzahl stimmte im Laufe der Zeit um durchschnittlich vierundvierzig Prozent gestiegen. „Klassische Rezepte müssen verkleinert werden, um dem wachsenden Taillenumfang entgegenzuwirken“, schlussfolgerten sie. In einem Interview mit der L.A.MalWansink sagte, er habe sich entschieden, „Joy“ zu analysieren, weil er nach Schuldigen für die Fettleibigkeitsepidemie suchte, die über Fast Food und andere ungesunde Restaurantküche hinausgingen. „Das löste in mir den Gedanken aus: Ist das wirklich die Quelle der Dinge?“ . .Was ist bei dem passiert, was wir im Laufe der Jahre in unseren eigenen Häusern getan haben?“
John Becker, der Urenkel von Irma Rombauer, lebt mit seiner Frau Megan Scott in Portland, Oregon, und sie sind die derzeitigen Hüter des „Joy“-Erbes. Als die Ergebnisse von Wansinks Forschung veröffentlicht wurden, waren sie und ihre Herausgeber überrascht. Mit Hilfe von Rombauers Biographen veröffentlichten sie eine Antwort auf der „Joy“-Website, in der sie einige von Wansinks Methoden kritisierten und auf seine Stichprobengröße aufmerksam machten – von den etwa 4500 Rezepten, die in späteren Ausgaben erschienen, hatte er nur achtzehn ausgewählt 0,004 Prozent des Buchinhalts. Aber sie schreckten davor zurück, Wansinks Schlussfolgerungen gänzlich zurückzuweisen. „Joy“ war schon immer ein eigenwilliges Werk gewesen, das im Laufe der Jahre von starken Persönlichkeiten geschrieben und umgeschrieben wurde, die energische und oft widersprüchliche Meinungen vertraten. (Beckers Großmutter Marion Rombauer Becker und sein Vater Ethan Becker wurden schließlich jeweils als Co-Autoren hinzugefügt. ) „Wir gingen davon aus, dass er wahrscheinlich Recht hatte und dass die Rezepte wahrscheinlich höhere Kalorien pro Portion enthielten“, sagte mir Scott kürzlich am Telefon. „Wenn wir den Ruf eines amtierenden Abteilungsleiters von Cornell angreifen wollten, hätten wir meiner Meinung nach einen wirklich schwierigen Streit gehabt.“
Aber die Studie tauchte im Laufe der Jahre immer wieder auf und wurde Teil der gängigen Meinung zum Thema Fettleibigkeit – ein „Ersatz“, wie Becker es ausdrückt, für die „Sad American Diet“. Ein Cartoon, der von Cornell’s Food and Brand Lab in Auftrag gegeben und zusammen mit der Originalstudie veröffentlicht wurde, zeigt eine bullige neuere Ausgabe des Buches, die eine ältere Ausgabe anspricht und ihren Bruder verspottet: „Ich habe 44 % mehr Kalorien pro Portion als Sie!“ Vor allem Wansinks winziges Musterset ging dem Paar auf die Nerven. In seinem Studienbericht erklärte Wansink die Größe als methodische Notwendigkeit und schrieb: „Seit der ersten Ausgabe im Jahr 1936 wurden in jeder nachfolgenden Ausgabe kontinuierlich nur 18 Rezepte veröffentlicht.“ Aber bei der Recherche zur neunten Auflage des Kochbuchs (geplant für 2019) hatten Becker und Scott einen enzyklopädischen Katalog mit Tausenden von alten „Joy“-Rezepten erstellt und zählten mehrere Hundert Rezepte, die von einer Auflage zur nächsten vergleichbar geblieben waren. Als Wansinks Cartoon 2015 erneut in Beckers Schublade landete, beschloss er, selbst zu recherchieren. Becker begann seine Analyse vorsichtig, in der Hoffnung, in „Joy of Cooking“ ein paar Gegenbeispiele zu finden, um Wansinks Erkenntnissen entgegenzutreten. Stattdessen sagte er zu mir: „Ich dachte: ‚Oh mein Gott, da ist noch viel mehr.‘ Ich meine, die Zahlen sprechen für uns, und sie bestimmen definitiv nicht, was Wansink hat.“
Dann, letzten Monat, veröffentlichte die BuzzFeed-Reporterin Stephanie Lee eine mitreißende Aussageexponierenvon Wansinks Forschung. Akademische Standards erfordern, dass Forscher im Voraus eine Hypothese formulieren und dann ein Experiment durchführen, das Daten liefert, die die Hypothese entweder beweisen oder widerlegen. Lees Artikel – der auf Interviews mit Mitarbeitern des Cornell Food and Brand Lab sowie auf privaten E-Mails aus dem Labor basierte, die über eine Anfrage nach öffentlichen Aufzeichnungen eingeholt wurden – zeigte, dass Wansink seine Mitarbeiter regelmäßig dazu drängte, andersherum vorzugehen: zu manipulieren Datensätze, um Muster zu finden (eine Praxis, die als „P-Hacking“ bekannt ist) und dann auf der Grundlage dieser Schlussfolgerungen Hypothesen zurückzuentwickeln. „Denken Sie an all die verschiedenen Möglichkeiten, wie Sie die Daten schneiden können“, schrieb er einem Forscher in einer E-Mail aus dem Jahr 2013; Für andere Studien drängte er seinen Stab, „etwas Blut aus diesem Felsen herauszupressen“. Einer von Wansinks Laborassistenten sagte zu Lee in Bezug auf Daten aus einer Gewichtsabnahmestudie, mit deren Analyse sie beauftragt worden war: „Er versuchte, die Studie dazu zu bringen, etwas zu sagen, was nicht wahr war.“
Lees Bericht war nicht das erste Mal, dass Zweifel an Wansinks Arbeit geäußert wurden: 2016 veröffentlichte er einen Blog-Beitrag (den er später löschte), in dem er enthüllte, dass er Doktoranden zu dieser Art von Datenfischerei ermutigt hatte; Der Beitrag löste eine Flut kritischer Berichterstattung über seine Methoden aus. Aber Lees Bericht war der umfassendste und vernichtendste Bericht. „Jahr für Jahr“, schloss sie, „haben Wansink und seine Mitarbeiter vom Cornell Food and Brand Lab schlechte Daten in schlagzeilenfreundliche Esslektionen umgewandelt, die sie der breiten Masse vermitteln konnten.“ Zwei Tage Nachdem Lees Geschichte veröffentlicht wurde, postete John Becker auf der offiziellen Seite „Joy of Cooking“.Twitter-Konto„Wir haben die zweifelhafte Ehre, ein Opfer der frühen Arbeiten von @BrianWansink und Collin R. Payne zu sein.“
Etwa zur gleichen Zeit schickte Becker sein eigenes umfangreiches Archiv an Materialien im Zusammenhang mit Wansinks Studie – darunter eine Microsoft Excel-Tabelle, in der die Kalorienzahl von Hunderten von „Joy“-Rezepten im Laufe der Zeit verfolgt wurde – an mehrere Wissenschaftler, darunter an James Heathers, einen Verhaltensforscher an der Northeastern University. Heathers gehört zu einem Trupp verwegener Statistiker, die außerhalb ihrer regulären Arbeit Zeit damit verbringen, von medienfreundlichen Forschern veröffentlichte Studien, die zu gut sind, um wahr zu sein, erneut zu analysieren – und die Öffentlichkeit lautstark auf etwaige Ungenauigkeiten aufmerksam zu machen, die sie finden. Heathers‘ eigene Arbeit – insbesondere seine Entwicklung eines Modellierungstools namens S.P.R.I.T.E., das die Rekonstruktion wahrscheinlicher Datensätze aus veröffentlichten Ergebnissen ermöglicht – hat in den letzten Jahren direkt zur Änderung oder Zurückziehung eines Dutzend wissenschaftlicher Arbeiten geführt, darunter mehrere von Wansink verfasste.
Brian Wansink, der das Food and Brand Lab an der Cornell University leitet.
Heathers erzählte mir, dass die Probleme, die er in Wansinks Studien gefunden hat, im Allgemeinen in den Zahlen selbst liegen: fehlerhafte Arithmetik, schlampige Aufzeichnung, Teilmengen von Daten, die zeitweise verschwinden und später „wie von Zauberhand wieder auftauchen“, und Schlussfolgerungen, die unwahrscheinliche Stichproben rückentwickeln. (Rückwärtsgehend von den Ergebnissen einer Studie über Gemüse-Essgewohnheiten bei Kindern,Heathersentschlossendass Wansinks Schlussfolgerung nur dann gültig war, wenn ein Kind sechzig Karotten auf einmal verschlungen hatte. Wansink veröffentlichte eine ausführliche Korrektur und stellte klar, dass das Experiment mit „Streichholz-Karotten“ durchgeführt wurde. Später zog er die Studie ganz zurück.) Die methodischen Mängel, die Heathers in „The Joy of Cooking Too Much“ feststellte, sind anderer Art: Da es sich bei den betreffenden Rezepten um feste Informationen handelt, unterliegen die tatsächlichen Daten – Zutaten, Mengen, Nährwertangaben – nicht dieser Manipulation. Stattdessen stellte Heathers Probleme mit der Studie selbst fest. „Das Problem ist nicht, dass es falsch addiert wurde“, sagte er über die Daten. „Es ist so, dass es keine wirkliche Möglichkeit gibt, alles richtig zu addieren.“
Die Rezepte wurden beispielsweise anhand der Portionsgröße verglichen, doch zehn der achtzehn untersuchten Rezepte geben nicht an, was als Portion gilt. („Joy“s Schokoladenkuchen-Rezept ergibt einfach „1Kuchen“.) Die geringe Stichprobengröße sei besonders problematisch, erklärte Heathers, da die Kalorienveränderungen in den achtzehn untersuchten Rezepten drastisch schwankten und von einem Anstieg auf einhundertvierunddreißig Prozent reichten beim Gulasch bis zu einer dreißigprozentigen Reduzierung beim Milchreis. „Das ist kein verlässliches Muster!“ sagte Heathers. Wansink bestand außerdem darauf, nur Rezepte zu vergleichen, die in verschiedenen „Joy“-Ausgaben identische Namen trugen, unabhängig von den begleitenden Rezepten, was ihn manchmal dazu veranlasste, zwei völlig unterschiedliche Gerichte zu vergleichen. Er verwies gern auf Gumbo als einen der ungeheuerlichsten Kaloriengewinner, aber das Rezept von 1936, eine klare Suppe aus Hühnchen und in Wasser gekochten Gemüsescheiben, hat fast nichts mit der mit Wurst übersäten, in Mehlschwitze eingedickten Hühnchensorte gemein, die im Buch von 2006 vorgestellt wird . „Es ist, als würde man ein Chateaubriand mit einem ganzen Ochsenbraten vergleichen“, sagte Heathers, „und sagen, dass es sich bei beiden um Roastbeef handelt.“
