Správy

Dan Ariely ruší štúdiu poctivosti na základe falošných údajov

Správy zo služby BuzzFeed

Prelomová štúdia, ktorú schválilajednoduchý spôsob, ako obmedziť podvádzanie, bude zrušený takmer o desať rokov neskôr, keď skupina vedcov zistila, že sa spolieha na falošné údaje.

Podľa dokumentu z roku 2012, keď ľudia podpisovali čestné vyhlásenie na začiatku formulára, a nie na konci, bolo menej pravdepodobné, že budú klamať. Zdanlivo lacná a účinná metóda boja proti podvodom to bola prijatý aspoň jednou poisťovňou, testované od vláda agentúry po celom svete a vyučuje vedúcich pracovníkov spoločností. Vyvolalo to rozruch medzi akademikmi, ktorí to vo vlastnom výskume citovali viac ako 400 -krát.

Príspevok tiež posilnil povesť dvoch z jeho autorov-Maxa Bazermana, profesora obchodnej administratívy na Harvard Business School, a Dana Arielyho, psychológa a behaviorálneho ekonóma na Duke University-ako lídrov v štúdiu rozhodovania, iracionality, a neetické správanie. Ariely, častý reproduktor TED Talk a publicista denníka Wall Street Journal , citovala štúdia na prednáškach a v jeho bestselleri New York Times(Úprimná) pravda o neúprimnosti: Ako klameme každému - obzvlášť sebe.



O niekoľko rokov neskôr on a jeho spoluautori zistili, že následné experimenty nepreukázali rovnaké zníženie nečestného správania. V poslednej dobe však skupina vonkajších detektívov skúmala základné údaje pôvodného dokumentu a narazila na väčší problém: Jeden z jeho hlavných experimentov bol falošný nad všetky pochybnosti, napísali traja akademici v r. príspevok na ich blogu Data Colada v utorok .

Vedci, ktorí štúdiu publikovali, súhlasia s tým, že jej údaje sa zdajú byť podvodné, a požiadali, aby ho časopis Proceedings of the National Academy of Sciences stiahol. Stále však nie je jasné, kto alebo prečo údaje zostavil - a štyria z piatich autorov uviedli, že nezhrali žiadnu úlohu pri zbere údajov pre príslušný test.

Zostáva tak Ariely, ktorý potvrdil, že iba on bol v kontakte s poisťovňou, ktorá vykonala test so svojimi zákazníkmi a poskytla mu údaje. Trval však na tom, že je nevinný, čo naznačuje, že za to môže spoločnosť. Vidím, prečo je lákavé si myslieť, že mám niečo do činenia s vytváraním údajov podvodným spôsobom, povedal pre BuzzFeed News. Chápem, prečo by bolo lákavé dospieť k tomuto záveru, ale neurobil som to.

Dodal, že keby som vedel, že údaje sú podvodné, nikdy by som ich nezverejnil.

Keby som vedel, že údaje sú podvodné, nikdy by som ich nezverejnil.

Ariely však poskytol protichodné odpovede o pôvode súboru s údajmi, ktorý bol základom analýzy. S odkazom na dohody o dôvernosti odmietol tiež uviesť poisťovateľa, s ktorým uzavrel partnerstvo. A povedal, že všetky jeho kontakty na poisťovňu odišli a že si nikto z nich nepamätá, čo sa stalo.

Podľa korešpondencie, ktorú preskúmal server BuzzFeed News, Ariely uviedol, že spoločnosťou, s ktorou uzavrel partnerstvo, bola Hartford, poisťovacia spoločnosť so sídlom v Hartforde v Connecticute. Dvaja ľudia oboznámení so štúdiou, ktorí požiadali o anonymitu kvôli strachu z odplaty, potvrdili, že Ariely označila Hartforda za partnera výskumu.

Dni po zverejnení tohto príbehu Suzanne Barlynová, hovorkyňa Hartfordu, potvrdila pre BuzzFeed News, že sme naskenovali naše archívy a zistili sme, že s Dr. Arielym došlo k malému projektu. Spoločnosť však vo vyhlásení uviedla, že sa nám nepodarilo nájsť žiadne údaje, výstupy alebo výsledky, ktoré mohli byť dosiahnuté. Na otázku, čo má nájsť vo svojich archívoch, spoločnosť odmietla komentovať.

Ariely nevrátil žiadosť o vyjadrenie k poisťovni.

Máte ďalšie informácie o tomto príbehu, o ktoré sa chcete podeliť? Kontaktujte tohto reportéra na adrese [email protected] alebo sa s ňou bezpečne spojte na adrese [email protected]. Môžete nám tiež poslať e -mail na adresu tips.buzzfeed.com.

Implodované zistenie je najnovším úderom do rušnej oblasti behaviorálnej ekonómie. Niekoľko vysoký profil , údajne vedecky podložené stratégie do jemne ovplyvňuje psychológiu ľudí a rozhodovanie nedokázali vydržať pod kontrolou , čím sa podnecuje to, čo sa dabuje a replikačná kríza . Je však vzácnejšie, že údaje sú úplne falošné.

A nie je to prvýkrát, čo boli položené otázky najmä o Arielyho výskume. V tvrdil známu štúdiu z roku 2008 že prinútenie ľudí pripomenúť si desať prikázaní pred testom obmedzuje podvádzanie, ale vonkajší tím neskôr sa nepodarilo replikovať efekt . An poznámka redaktora bol pridaný do a 2004 jeho štúdia minulý mesiac, keď ďalší vedci vyjadrili obavy zo štatistických rozdielov a Arielyová nemala pôvodné údaje, s ktorými by sa dala porovnať. A v roku 2010 Ariely povedal NPR, že zubári často nesúhlasia o tom, či röntgenové lúče ukazujú dutinu , pričom ako svoj zdroj uvádza poistenie zubov Delta. Neskôr toto tvrdenie odvolal, keď spoločnosť uviedla, že mu tieto informácie nemohla poskytnúť, pretože ich nezhromažďovala.

Je to zlyhanie vedy, že trvalo tak dlho, kým boli údaje z roku 2012 odhalené ako falošné, tvrdili vedci za blogom Data Colada.

Riešenie problému vedeckých podvodov by nemalo byť ponechané na niekoľkých anonymných (a unavených a vystrašených) informátoroch a niektorých (naštvaných a vystrašených) bloggeroch, ktorí by mali vykorčuľovať, napísal Joe Simmons z University of Pennsylvania, Leif Nelson z UC Berkeley, a Uri Simonsohna z Esade Business School v Španielsku.

Niektorí sú teraz vypočúvanie či vedec, ktorý doslova napísal knihu o nepoctivosti, je sám nečestný. Na otázku, či sa obáva o svoju povesť, Ariely odpovedal, že sa ho to netýka.

Myslím si, že veda postupom času funguje a veci sa opravia, povedal.

Sean Gallup / Getty Images pre Burda Media

Dan Ariely na konferencii v roku 2009

Príspevok z roku 2012 informoval o aséria experimentov vykonaných v laboratóriu aj v teréne. V hlavnom experimente v reálnom svete sa vedci spojili s nemenovanou poisťovňou automobilov v USA. Takmer 13 500 vodičom bol náhodne odoslaný jeden z dvoch formulárov na preskúmanie zásad: jeden, kde vyhlásenie, ktoré sľubujem, že informácie, ktoré poskytujem, sú pravdivé, sa v spodnej časti dokumentu javilo ako normálne a druhé, kde bolo vyhlásenie presunuté na začiatok. Ľudia sú prirodzene motivovaní klamať na týchto formách, vysvetlili vtedy vedci, pretože nižší počet najazdených kilometrov znamená nižšie riziko nehôd a nižšie poistné.

Bez ohľadu na to, či sa podpísali vedľa sľubu poctivosti v spodnej alebo hornej časti, boli zákazníci požiadaní, aby nahlásili aktuálny počet najazdených kilometrov svojich automobilov, na ktoré sa vzťahuje poisťovňa. Toto číslo bolo porovnané s počtom najazdených kilometrov, ktoré uviedli v minulosti v neurčenom časovom období. Vedci uviedli, že ľudia, ktorí podpísali hornú časť dokumentu, uviedli, že najazdia viac kilometrov - asi 2 400, čiže o 10%viac - ako tí, ktorí sa podpísali v spodnej časti dokumentu.

Aj keď skutočný počet najazdených kilometrov nebolo možné overiť, vedci predpokladali, že tento značný rozdiel bol spôsobený prepnutím na podpisové miesta. Táto jednoduchá doladenie, napísali, pravdepodobne znížila mieru, do akej zákazníci falšovali informácie o najazdených kilometroch vo svojom vlastnom finančnom vlastnom záujme za cenu pre poisťovňu.

Tento objav úhľadne zapadol do rastúceho súboru výskumov o šťuchanie : myšlienka, že jemné narážky môžu povzbudiť ľudí, aby nevedome urobili správne rozhodnutia. Koncept špičkových podpisov bol testovaný na daňových poplatníkoch v Spojené kráľovstvo a Guatemala , aj keď so zmiešanými výsledkami. Vláda v Kanade údajne strávil tisíce ľudí aj snahou zmeniť svoje daňové formy. V U.S.A, všimla si to Obamova administratíva a IRS pripísal metódu s pomocou pri zbieraní ďalších 1,6 milióna dolárov od vládnych predajcov za štvrtinu.

Takéto triky nás nezachránia pred ďalšou veľkou Ponziho schémou alebo dopingovým športovcom alebo zlodejským politikom, napísala Ariely v roku 2012. Wall Street Journal úryvok z(Poctivá) pravda o nepoctivosti. Mohli by však obmedziť väčšinu ľudí, ktorí podvádzajú „len o málo“.

Myslím si, že veda časom funguje a veci sa dajú do poriadku.

Ariely pokračoval ako generálny riaditeľ správania sa a pridal sa k miléniovému poistnému startupu Lemonade. Jeho pole sa dotýka každého aspektu nášho života, spoločnosť zaznamenala v roku 2016 , vrátane podvádzania našich daňových formulárov a poistných udalostí. Lemonade zobrala stránku priamo z príručky ekonóma behaviorálneho ekonóma: na odoslanie tvrdení o podvode musia zákazníci podpísať svoje meno a zaviazať sa digitálnym prísľubom čestnosti na začiatku procesu nárokovania, a nie na konci, Fast Company. hlásené v roku 2017. (Ariely odišiel na konci roka 2020 podľa svojho profilu na LinkedIn.)

Simmons, jeden z detektívov spoločnosti Data Colada, učil štúdium roky vo svojej triede rozhodovania na Whartonskej škole University of Pennsylvania. Je to jednoduchý zásah, ktorý by každý tvorca politiky, ktorý má záujem potlačiť nepoctivosť, mohol ľahko uplatniť v praxi, povedal pre BuzzFeed News.

Ale osem rokov po zverejnení štúdie pôvodní autori oznámili, že už prestávajú dôverovať svojim záverom.

Niekoľko ďalších vedcov sa neúspešne pokúšalo replikovať a stavať na niektorých z experimentov, a tak spojili sily s piatimi pôvodnými vedcami vrátane Arielyho, aby znova vykonali jeden z týchto testov. Tento tiež zahŕňal podpisy hore verzus dole, ale na formulároch daňového priznania a s väčšou skupinou účastníkov v laboratórnom prostredí. Nevideli žiadny rozdiel v poctivosti medzi týmito dvoma skupinami.

Keď sa obzrieme späť na pôvodný experiment s hlásením najazdených kilometrov, vedci si uvedomili, že tieto dve skupiny-horní a dolní signatári-mali na začiatku výrazne odlišné záznamy o najazdených kilometroch. Úprimnosť pravdepodobne nemala nič spoločné s rozdielmi medzi ich reakciami, vysvetlili autori minulý rok v op-ed s názvom Keď sa mýlime, je našou zodpovednosťou to povedať ako vedci. Tiež podrobne neúspech ich pokusu o replikáciu v novom liste.

Časopis sa vtedy pýtal, či vedci chcú pôvodný nález stiahnuť. Bazerman, harvardský vedec, povedali bloggerom Data Colada že on a ďalšia autorka Lisa Shu, vtedy na Northwestern University, boli jediní dvaja autori, ktorí boli silne za. Nakoniec sa skupina nepohla dopredu a zatiahla sa. (Bazerman odmietol rozhovor s BuzzFeed News.)

Ale táto chyba sa ukázala byť len špičkou ľadovca.

Keď vedci zverejnili svoju aktualizáciu do roku 2020, prvýkrát zverejnili údaje zo svojho príspevku z roku 2012. Verejné zdieľanie údajov bolo kedysi vo vede vzácnosťou, ale pomaly sa stáva bežnejším kvôli výzvam na väčšiu transparentnosť.

Pri prezeraní tabuľky Microsoft Excel Simmons a ďalší detektívi údajov odhalili sériu nepravdepodobných anomálií, ktoré poukazovali na najmenej dva druhy výroby: Mnohé zo základných, predbežných experimentov sa zdali byť duplikované a mierne pozmenené a všetky míle boli údajne zozbierané. počas testu formulárov to vyzeralo, že sú vymyslené. Zdá sa, že väčšinu týchto údajov generuje generátor náhodných čísel, napísali vo svojom príspevku Data Colada.

V prvom náznaku niečoho neúspešného, ​​13 488 vodičov v štúdii uviedlo rovnomerne rozložené úrovne riadenia počas obdobia zahrnutého v štúdii. Inými slovami, rovnako veľa ľudí najazdilo 500 míľ ako tí, ktorí najazdili 10 000 míľ, ako 40 000 míľ. Tiež ani jeden neprešiel nad 50 000. Tento model platil pre všetky autá vodičov (každé mohlo hlásiť počet najazdených kilometrov až pre štyri vozidlá).

Takto skutočné údaje nevyzerajú a nemôžeme si myslieť na ich prijateľné benígne vysvetlenie, napísali Simmons, Nelson a Simonsohn. (Väčšinu problémov, dodali, pôvodne uviedla skupina výskumníkov, ktorí požiadali o zachovanie anonymity.)

'Takto nevyzerajú skutočné údaje.'

Tieto vysoko nepravdepodobné míle boli čiastočne spôsobené údajmi, ktoré sa zdali byť jemne duplicitné. Takmer presne polovica míľ v základných údajoch bola zadaná písmom Calibri a druhá polovica v Cambrii. Tieto dve sady boli neskutočne podobné, napísali vedci. Všetky položky Calibri mali dvojčatá Cambrie, účastníkov s najazdenými kilometrami, ktoré boli vždy vyššie, ale stále v rámci rovnakého malého rozsahu - indikátor generátora náhodných čísel pri práci.

Ďalšia zvláštnosť: takmer žiadny z míľ v experimente s Arielyho formami nebol zaokrúhlený. To bolo zvláštne, pretože tieto správy boli údajne hlásené samy od seba a dalo by sa očakávať, že mnohí vodiči budú skôr uvádzať odhady lopty, než aby vyhľadávali presné údaje o svojich tachometroch. Keď skutoční ľudia hlásia veľký počet ručne, majú tendenciu ich zaokrúhliť, napísali Simmons, Nelson a Simonsohn. Bol to ďalší znak generátora náhodných čísel v hre.

Ich záver bol jasný: Existuje veľmi presvedčivý dôkaz, že údaje boli vyrobené. Časopisy zjavne musia vyžadovať, aby autori zdieľali svoje údaje, tvrdili vo svojom príspevku.

Pole, ktoré ignoruje problém podvodu, alebo sa tvári, že neexistuje, riskuje stratu dôveryhodnosti, dodali. A zaslúžene.

Všetci piati pôvodní autori, vrátane Arielyho, uviedli, že súhlasia so záverom bloggerov Data Colada, že údaje sú falošné, a vyjadrili ľútosť nad tým, že si to nevšimli skôr. Skupina z nich požiadala, aby zborník Národnej akadémie vied štúdiu minulý mesiac odvolal.

Sme si vedomí situácie a komunikujeme s autormi, povedal pre BuzzFeed News etický manažér redakcie PNAS Yael FitzPatrick.

V vyhlásenie k blogu Francesca Gino, profesorka Harvardskej obchodnej školy a jedna z autoriek, napísala, že som nebol zapojený do rozhovorov s poisťovňou, ktorá vykonávala terénny experiment, ani do žiadneho z krokov jeho spustenia alebo analýzy údajov. Iná autorka, Nina Mazar, potom na University of Toronto a teraz profesorka marketingu na Bostonskej univerzite, povedal blogu „Chcem objasniť, že som sa nezúčastnil na vykonávaní terénnej štúdie, nemal som žiadne interakcie s poisťovňou a neviem, kedy, ako a kto konkrétne údaje zozbieral a zadal. Nemám informácie o tom, kto údaje vymyslel.

Gino odmietol rozhovor pre tento príbeh a Mazar nevrátil žiadosť o komentár.

Thos Robinson / Getty Images

Zľava: Jad Abumrad, Jonah Lehrer, Dan Ariely a Robert Krulwich vystupujú v paneli na Svetovom festivale vedy v New Yorku v roku 2008.

Medzitým Ariely povedal neurčitoa protichodné odpovede o tom, ako údaje získal.

Na otázku BuzzFeed News, keď experiment uskutočnila poisťovňa, najskôr odpovedal: nepamätám si, či to bolo rok 2010 alebo 11. Jedna z tých vecí.

Súbor programu Excel, ktorý bol verejne zverejnený - súbor s pôvodnými údajmi, podľa neho a jeho tímu - vytvoril Ariely vo februári 2011, jeho metadáta to ukazujú. Ariely však diskutoval o výsledkoch štúdie v a Prednáška z júla 2008 v spoločnosti Google a napísal o tom esej, aj keď s mierne odlišnými výsledkami, v roku 2009 Harvard Business Review . To by naznačovalo, že súbor údajov bol vytvorený až tri roky po experimente.

Hovorca Hartfordu uviedol, že projekt s Arielym bol vykonaný v rokoch 2007-2008 a že väčšina zamestnancov spojených s prácou už v spoločnosti nie je.

Ariely povedal bloggerov Data Colada, že tabuľka je presne to, čo dostal od spoločnosti. Spoločnosť zhromaždila údaje, vložila ich, zlúčila a anonymizovala a potom mi ich poslala, napísal. Toto bol dátový súbor, ktorý bol použitý na analýzu a potom verejne zdieľaný.

Ale v rozhovore pre BuzzFeed News bola jeho spomienka na vývoj súboru pochmúrnejšia. Prišlo to v Exceli, alebo to prišlo v texte a ja som to vložil do Excelu? Neviem, povedal a dodal: To, čo som chcel objasniť, je, že údaje, ktoré som dostal, to boli údaje.

A existujú dôkazy, že Ariely súbor do istej miery upravil, než ho odovzdal zvyšku tímu.

16. februára 2011 Ariely poslala e -mailom Mazarovi verziu rovnakého súboru programu Excel podľa e -mailov, ktoré zdieľala s Data Colada. Zdá sa, že to vyzeralo ako zásadná chyba: signatári zdola boli pravdepodobne úprimnejší, čo je opak hypotézy vedcov. Keď na to Mazar upozornil Arielyovú, povedal jej, že pri príprave súboru údajov pre ňu omylom vymenil štítky horných a dolných signatárov. Mazar ich na jeho žiadosť vymenil. Súbor nakoniec zverejnený v roku 2020 túto chybu neobsahoval.

Ariely pre BuzzFeed News povedal, že hoci si bol vedomý Mazarovho účtu o tejto výmene, osobne si nepamätal, že by ju mal, a od tej doby nemal žiadne e -maily na kontrolu.

Namiesto toho sa zdá, že z podvodných údajov viní poisťovňu, pričom uviedol, že jeho chybou bolo, že sa počas procesu zberu údajov držal bokom. Pri pohľade na údaje iba vtedy, keď boli agregované, anonymizované a odoslané mu ho, podľa neho, oslobodilo od práce na zabezpečení etického súhlasu univerzity na výskum ľudských subjektov.

Z obavy o súkromie som sa držal ďalej od podrobností, povedala Ariely. Pri spätnom pohľade to nebola dobrá voľba.

Minimálne jeden člen tímu tvrdí, že mal otázky od začiatku.

Bazerman z Harvardu povedal pre Data Colada, že keď si vo februári 2011 prvýkrát prečítal návrh dokumentu, mal otázky o zdanlivo nepravdepodobných údajoch z poistného experimentu. Spoluautor ho ubezpečil, že údaje sú presné, a ďalší mu ukázal spis, aj keď priznal, že ho osobne neskúmal.

Keď noviny z roku 2012 vyvolali vlny, potom uveril základnému výsledku a naučil to študentov aj vedúcich pracovníkov spoločností. Pri spätnom pohľade napísal, želám si, aby som viac pracoval na identifikácii podvodných údajov, na zabezpečení dôsledného výskumu v kontexte spolupráce a na okamžitom stiahnutí dokumentu z roku 2012.

Shu, ďalší spoluautor, ktorý teraz pracuje v rizikovom kapitáli, tento týždeň na Twitteri vyjadril podobnú ľútosť. Spoluprácu sme začali z miesta predpokladanej dôvery - a nie získanej dôvery, napísala . Poučenie. Odmietla sa k tomuto príbehu vyjadriť.

Ariely tvrdí, že sa tiež poučil. Povedal, že od štúdie z roku 2012 sa jeho laboratórium viac zapája do úsilia o zber údajov, keď spolupracuje so spoločnosťami na výskume. Členovia jeho laboratória teraz ukladajú údaje v cloude a pravidelne ich verejne zdieľajú, dodal.

Keď ho v lete oslovili dátoví detektívi so svojimi zisteniami, Dukeho úrad pre výskumnú integritu s ním urobil rozhovor a dostal prístup k jeho e -mailu, povedal. Na otázku, ako bola kontrola vykonaná a čo zistila, hovorca vojvodu odmietol komentovať.

S odhalením, že falošné údaje podporili slávnu štúdiu o poctivosti, majú spoločenské vedy svoj najnovší varovný príbeh.

Ľudia budú naďalej študovať nečestnosť, povedal Nelson, jeden z vedcov, ktorí odhalili problémy v štúdii, pre BuzzFeed News. Myslím si však, že budú o niečo obozretnejší, pokiaľ ide o to, ako to oslavovali v predchádzajúcom desaťročí.

Medzitým Ariely povedal, že dáva nádej, že základná myšlienka štúdie stále platí, na čo poukazuje iný výskum o tom, aby ľudia boli úprimní. Povedal, že ho ospravedlní viac experimentov s podpismi, ktoré prebiehajú v Británii, ktoré ešte neboli zverejnené.

Podľa neho nemožno údajom z roku 2012 dôverovať. Stále však existuje otázka, či je princíp, ktorý je za tým, správny. To sú samostatné otázky. ●

AKTUALIZÁCIA

25. augusta 2021 o 17:15 hod

Tento príbeh bol aktualizovaný tak, aby obsahoval vyhlásenie z Hartfordu.

Viac o tomto