_ Cum să evitați „blestemul câștigătorului” pentru programe sociale

În anii 1980, cercetătorii au testat un program de formare profesională numit JOBSTART în 13 orașe din SUA. În 12 locații, programul a avut un beneficiu minim. Dar în San Jose, California, rezultatele au fost bune: după câțiva ani, lucrătorii câștigau cu aproximativ 6.500 USD mai mult anual decât colegii care nu participau la el.

Așadar, în anii 1990, cercetătorii Departamentului Muncii din SUA au implementat programul. în alte 12 orașe. Rezultatele nu au fost însă replicate. Cifrele inițiale din San Jose au rămas o valoare anormală.

Acest scenariu ar putea fi o consecință a ceva ce savanții numesc „blestemul câștigătorului”. Când programele, politicile sau ideile sunt testate, chiar și în experimente riguroase randomizate, lucrurile care funcționează bine o dată pot funcționa mai rău data viitoare. (Termenul „blestemul câștigătorului” se referă și la ofertele câștigătoare mari la o licitație, o chestiune diferită, dar înrudită.)

Acest blestem al câștigătorului prezintă o problemă pentru funcționarii publici, liderii de firme din sectorul privat și chiar și oamenii de știință: atunci când aleg ceva care a fost testat bine, ei ar putea fi în declin. Ceea ce crește adesea va scădea.

„În cazurile în care oamenii au mai multe opțiuni, o aleg pe cea pe care o consideră cea mai bună, adesea pe baza rezultatelor unui studiu randomizat”, spune economistul MIT Isaiah Andrews. „Ceea ce veți descoperi este că, dacă încercați din nou acel program, va tinde să fie dezamăgitor în raport cu estimarea inițială care i-a determinat pe oameni să-l aleagă.”

Andrews este coautor al unui studiu care examinează acest fenomen și oferă noi instrumente pentru a-l studia, care ar putea ajuta, de asemenea, oamenii să-l evite.

Lucrarea, „Inference on Winners”, este publicată în numărul din februarie al The Quarterly Journal of Economics. Autorii sunt Andrews, profesor la Departamentul de Economie al MIT și expert în econometrie, metodele statistice ale domeniului; Toru Kitagawa, profesor de economie la Universitatea Brown; și Adam McCloskey, profesor asociat de economie la Universitatea din Colorado.

Tipul de blestem al câștigătorului abordat în acest studiu datează de câteva decenii ca concept de științe sociale și apare și în științele naturii : După cum notează oamenii de știință în lucrare, blestemul câștigătorului a fost observat în studiile de asociere la nivelul întregului genom, care încearcă să lege gene de trăsături.

Când descoperirile aparent notabile nu reușesc să reziste, pot exista diferite motive pentru aceasta. Uneori, experimentele sau programele nu se desfășoară în același mod atunci când oamenii încearcă să le reproducă. Alteori, variația aleatorie în sine poate crea acest tip de situație.

„Imaginați-vă o lume în care toate aceste programe sunt exact la fel de eficiente”, spune Andrews. „Ei bine, întâmplător, una dintre ele va arăta mai bine și vei avea tendința să o alegi pe aceea. Asta înseamnă că ai supraestimat cât de eficient este, în raport cu celelalte opțiuni.” Analizarea bine a datelor poate ajuta la distingerea dacă rezultatul aberant s-a datorat unor diferențe reale de eficacitate sau unei fluctuații aleatorii.

Pentru a distinge între aceste două posibilități, Andrews, Kitagawa și McCloskey au dezvoltat noi metode pentru analiza rezultatelor. . În special, ei au propus noi estimatori - un mijloc de proiectare a rezultatelor - care sunt „median imparțial”. Adică, este la fel de probabil să supraestimeze și să subestimeze eficacitatea, chiar și în situații cu blestemul câștigătorului.

Metodele produc, de asemenea, intervale de încredere care ajută la cuantificarea incertitudinii acestor estimări. În plus, oamenii de știință propun abordări de inferență „hibride”, care combină mai multe metode de cântărire a datelor de cercetare și, după cum arată, de multe ori dau rezultate mai precise decât metodele alternative.

Cu aceste noi metode, Andrews, Kitagawa și McCloskey stabilesc limite mai ferme în ceea ce privește utilizarea datelor din experimente, inclusiv intervale de încredere, estimări mediane imparțiale și multe altele. Și pentru a testa viabilitatea metodei lor, oamenii de știință au aplicat-o în mai multe cazuri de cercetare în științe sociale, începând cu experimentul JOBSTART.

În mod intrigant, în ceea ce privește diferitele moduri în care rezultatele experimentale pot deveni valori aberante, oamenii de știință au descoperit că San Rezultatul Jose de la JOBSTART nu a fost probabil doar rezultatul unei șanse aleatorii. Rezultatele sunt suficient de diferite încât s-ar putea să fi existat diferențe în modul în care programul a fost administrat sau în cadrul acestuia, în comparație cu celelalte programe.

Pentru a testa în continuare metoda de inferență hibridă, Andrews, Kitagawa și McCloskey a aplicat-o apoi la o altă problemă de cercetare: programele care oferă tichete de locuință pentru a ajuta oamenii să se mute în cartiere în care rezidenții au o mobilitate economică mai mare.

Studiile economice la nivel național au arătat că unele zone generează o mobilitate economică mai mare decât altele, toate lucrurile. fiind egali. Stimulați de aceste descoperiri, alți cercetători au colaborat cu oficiali din King County, Washington, pentru a dezvolta un program care să ajute beneficiarii de voucher să se mute în zone cu oportunități mai mari. Cu toate acestea, predicțiile pentru performanța unor astfel de programe ar putea fi susceptibile de blestemul câștigătorului, deoarece nivelul de oportunitate din fiecare cartier este estimat imperfect.

Andrews, Kitagawa și McCloskey au aplicat astfel metoda de inferență hibridă la un testarea acestor date la nivel de cartier, în 50 de „zone de navetă” (în esență, zone metropolitane) din SUA. Metoda hibridă i-a ajutat din nou să înțeleagă cât de sigure erau estimările anterioare.

Estimările simple din această setare sugerează că pentru copiii care cresc în gospodării la percentila 25 a venitului anual în SUA, programele de relocare a locuințelor ar crea un câștig de 12,25 puncte procentuale în venitul adulților. Metoda de inferență hibridă sugerează că ar exista un câștig de 10,27 puncte procentuale – mai mic, dar totuși un impact substanțial.

Într-adevăr, așa cum scriu autorii în lucrare, „chiar și această estimare mai mică este mare din punct de vedere economic, „și „conchidem că direcționarea sectoarelor pe baza oportunității estimate reușește în medie să selecteze sectoare cu oportunități mai mari.” În același timp, oamenii de știință au văzut că metoda lor face o diferență.

În general, spune Andrews, „modurile în care măsurăm incertitudinea pot deveni ele însele nesigure”. Această problemă este agravată, observă el, „când datele ne spun foarte puțin, dar suntem greșit excesiv de încrezători și credem că datele ne spun multe... În mod ideal, ați dori ceva care să fie atât de încredere, cât și să ne spună cât mai multe posibil. ."

Această poveste este republicată datorită MIT News (web.mit.edu/newsoffice/), un site popular care acoperă știri despre cercetarea, inovarea și predarea MIT.

(Fluierul)