_ Opinie: evaluarea de la colegi nu este perfectă — Îi învăț pe alții cum să facă acest lucru și am văzut direct cum este scurt

Când predau metode de cercetare, o atenție majoră este evaluarea colegilor. Ca proces, evaluarea inter pares evaluează lucrările academice pentru calitatea, integritatea și impactul lor asupra unui domeniu, modelând în mare măsură ceea ce oamenii de știință acceptă drept „cunoaștere”. Din instinct, orice universitar urmărește o idee nouă cu întrebarea „A fost acea revizuire de către colegii?”

Deși cred în importanța evaluării de către colegi – și ajut la evaluările de la colegi pentru mai multe reviste academice –, știi cât de vulnerabil poate fi procesul. Nu numai că cadrele universitare au pus sub semnul întrebării fiabilitatea evaluării inter pares de zeci de ani, dar retragerea a peste 10.000 de lucrări de cercetare în 2023 a stabilit un nou record.

Prima mea întâlnire cu defectele procesului de evaluare inter pares în 2015, în primul meu an de doctorat. student la psihologie educațională la o mare universitate din nord-vestul Pacificului.

Consilierul meu a publicat unele dintre cele mai citate studii în cercetarea educațională. A făcut parte din mai multe comitete editoriale. Unele dintre cele mai recunoscute reviste în domeniul învățării științei i-au solicitat revizuirea noilor studii. Într-o zi, am bătut la ușa biroului lui. Mi-a răspuns fără să se ridice de pe scaun, un manuscris tipărit i s-a deschis pe poală și mi-a făcut semn să intru.

„Program bun”, a spus el. „Aveți experiență în evaluarea inter pares?”

Am făcut parte din personalul editorial pentru reviste literare și am revizuit articole de poezie și ficțiune, dar mă îndoiam că o mare parte din aceasta a fost transferată în evaluarea științifică.

„Fantastic”. El zâmbi uşurat. „Aceasta va fi o învățare în lumea reală”. Mi-a întins manuscrisul din poală și mi-a spus să-i primesc recenzia scrisă înapoi într-o săptămână.

Eram prea stânjenită să întreb cum se face de fapt evaluarea de la colegi, așa că i-am oferit un plan improvizat bazat pe pe baza experienței mele anterioare: „Voi face comentarii de editare în margine și apoi voi scrie un rezumat despre calitatea generală?”

Zâmbetul i s-a stins, fie din cauza dezamăgirii, fie din cauza distragerii atenției. A început să răspundă la un e-mail.

„Asigurați-vă că metodele sunt corecte. Rezultatele au sens. Nu vă faceți griji pentru editare.”

În cele din urmă, mi-am croit drumul. , economisindu-i timp consilierului meu pentru o analiză mai puțin pe care trebuia să o efectueze. După aceea, am primit feedback bun și, în cele din urmă, am devenit un evaluator încrezător. Dar la acea vreme, cu siguranță nu eram un „peer”. Eram prea nou în domeniul meu pentru a evalua metodele și rezultatele și nu fusesem încă expus la suficiente studii pentru a identifica o observație surprinzătoare sau pentru a recunoaște calitatea pe care trebuia să o controlez. Datele manipulate sau metodele necorespunzătoare ar fi putut rămâne cu ușurință nedetectate.

Cunoașterea nu este evidentă de la sine. Un sondaj poate fi conceput cu o cantitate problematică de părtinire, chiar dacă neintenționată.

Observarea unui fenomen într-un context, cum ar fi o intervenție care îi ajută pe copiii albi din clasa de mijloc să învețe să citească, poate să nu ofere neapărat perspective pentru cum să înveți cel mai bine cititul copiilor din alte categorii demografice. Dezbaterile despre „știința lecturii” în general au durat zeci de ani, cercetătorii s-au certat cu privire la „recomandările” în continuă schimbare, cum ar fi dacă să predea fonetica sau utilizarea indicii de context.

O corelație – un student care agresează alți studenți și joacă jocuri video violente – poate să nu fie cauzalitate. Nu știm dacă elevul a devenit un bătăuș din cauza jocurilor video violente. Doar experții dintr-un domeniu ar putea observa astfel de diferențe și, chiar și atunci, experții nu sunt întotdeauna de acord cu ceea ce observă.

Ca indivizi, de foarte multe ori putem fi limitați de propriile noastre experiențe. Să spunem că în viața mea văd doar lebede albe. S-ar putea să-mi formez cunoștințele că există doar lebedele albe. Poate scriu un manuscris despre viața mea de observații, ajungând la concluzia că toate lebedele sunt albe. Trimit acel manuscris unui jurnal și un „colegi”, cineva care a observat și o mulțime de lebede, spune: „Stai puțin, am văzut lebede negre”. Acel colegi mi-ar comunica înapoi observațiile lor, astfel încât să îmi pot perfecționa cunoștințele.

Colegiul joacă un rol esențial în evaluarea observațiilor, cu scopul general de a avansa cunoștințele. De exemplu, dacă scenariul de mai sus s-ar inversa, iar evaluatorii colegi care credeau că toate lebedele sunt albe au dat peste primul studiu care a observat o lebădă neagră, studiul ar primi multă atenție, pe măsură ce cercetătorii s-au străduit să reproducă această observație. Deci, de ce un student absolvent din primul an a ajuns să înlocuiască un expert? De ce recenzia mea ar conta la fel ca recenzia unui veteran? Un singur răspuns: procesul se bazează aproape în întregime pe forța de muncă neremunerată.

În ciuda faptului că colegii sunt profesioniști, evaluarea inter pares nu este o profesie.

Ca urmare, aceiași savanți suprasolicitați adesea primesc cea mai mare parte a cererilor de evaluare inter pares. Pe lângă inechitatea în muncă, un grup mic de experți poate duce la un proces restrâns a ceea ce poate fi publicat sau a ceea ce contează drept cunoștințe, amenințând direct diversitatea de perspective și de savanți.

Fără un grup de recenzenți suficient de mare, procesul pot cădea cu ușurință victimele politicii, care decurg dintr-o comunitate mică care își recunoaște munca reciprocă și compromite conflictele de interese. Multe dintre problemele legate de evaluarea inter pares pot fi abordate prin profesionalizarea domeniului, fie prin recunoaștere oficială, fie prin compensare.

În ciuda acestor provocări, încă le spun studenților mei că evaluarea inter pares oferă cea mai bună metodă de evaluare a studiilor și de avansare. cunoştinţe. Luați în considerare fenomenul statistic care sugerează că grupurile de oameni au mai multe șanse să ajungă la „răspunsuri corecte” decât indivizii.

În cartea sa „The Wisdom of Crowds”, autorul James Surowiecki spune povestea unui târg de județ din 1906, unde târgurile au ghicit greutatea unui bou. Sir Francis Galton a făcut media celor 787 de ipoteze și a ajuns la 1.197 de lire sterline. Bouul cântărea 1.198 de lire sterline.

Când vine vorba de știință și reproducerea ideilor, înțelepciunea celor mulți poate explica valorile aberante individuale. Din fericire, și în mod ironic, așa a discreditat știința interpretarea lui Galton asupra eugeniei, care a eclipsat contribuțiile sale la știință.

Ca proces, evaluarea inter pares funcționează teoretic. Întrebarea este dacă peer-ul va primi sprijinul necesar pentru a efectua în mod eficient evaluarea.

Acest articol este republicat din The Conversation sub o licență Creative Commons. Citiți articolul original.

(Fluierul)