säkerställa lämplighet och stringens, undvika flexibilitet och framför allt aldrig manipulera resultat

på många områden, en statistisk analys utgör hjärtat av både metoder och resultat delar av ett manuskript. Lär dig hur du rapporterar statistiska analyser och vilket annat sammanhang som är viktigt för publikationsframgång och framtida Reproducerbarhet.

en principfråga

först och främst måste de statistiska metoder som används i forskningen alltid vara:

checklista ikon

lämplig för studiedesignen

Data management icon

noggrant rapporterad i tillräcklig detalj för att andra ska kunna reproducera analysen

rättvisa ikon

fri från manipulation, selektiv rapportering eller andra former av ”spin”

lika viktigt får statistiska metoder aldrig manipuleras eller missbrukas. Att förvränga data, selektivt rapportera resultat eller söka efter mönster som kan presenteras som statistiskt signifikanta, i ett försök att ge en slutsats som tros vara mer värdig uppmärksamhet eller publicering är en allvarlig etisk kränkning. Även om det kan verka ofarligt, kan statistik för att ”snurra” resultat förhindra publicering, undergräva en publicerad studie eller leda till utredning och retraktion.

stödja allmänhetens förtroende för vetenskap genom öppenhet och konsekvens

tillsammans med tydliga metoder och transparent studiedesign påverkar lämplig användning av statistiska metoder och analyser redaktionell utvärdering och läsarnas förståelse och förtroende för vetenskapen.

2011 Falskt Positiv Psykologi: Hemlig flexibilitet i datainsamling och analys gör det möjligt att presentera allt som signifikant exponerat att ”flexibilitet i datainsamling, analys och rapportering dramatiskt ökar faktiska falskt positiva priser” och visade ”hur oacceptabelt lätt det är att samla (och rapportera) statistiskt signifikanta bevis för en falsk hypotes”.

förmodligen leder sådana problem med flexibel analys till ”reproducerbarhetskrisen” som vi läser om idag.

en konstant princip för rigorös vetenskap
lämplig, rigorös och transparent användning av statistik är en konstant princip för rigorös, transparent och öppen vetenskap. Sikta på att vara noggrann, även om en viss tidskrift inte kräver samma detaljnivå. Förtroende för vetenskapen är allt vårt ansvar. Du kan inte skapa några problem genom att överskrida en minimistandard för information och rapportering.

Sunda statistiska metoder

även om det är svårt att tillhandahålla statistiska riktlinjer som är relevanta för alla discipliner, typer av forskning och alla analytiska tekniker, är det fortfarande viktigt att följa rigorösa och lämpliga principer. Här är några sätt att se till att din statistik är sund.

definiera din analytiska metodik innan du börjar
ta dig tid att överväga och utveckla en grundlig studiedesign som definierar din undersökningslinje, vad du planerar att göra, vilka data du kommer att samla in och hur du kommer att analysera den. (Om du ansökt om forskningsbidrag eller etiskt godkännande har du förmodligen redan en plan i handen!) Hänvisa till din studiedesign vid viktiga ögonblick i forskningsprocessen, och framför allt hålla fast vid den.

för att undvika flexibilitet och förbättra oddsen för acceptans, förregistrera din studiedesign med en tidskrift
många tidskrifter erbjuder möjligheten att skicka in en studiedesign för peer review innan forskning börjar genom en praxis som kallas förregistrering. Om redaktörerna godkänner din studiedesign får du ett preliminärt godkännande för en framtida forskningsartikel som rapporterar resultaten. Förregistrering är ett bra sätt att avvärja avsiktlig eller oavsiktlig flexibilitet i analysen. Genom att förklara ditt analytiska tillvägagångssätt i förväg ökar du trovärdigheten och reproducerbarheten av dina resultat och hjälper också till att ta itu med publikationsbias. Få peer review-feedback på din studiedesign och analysplan innan den har börjat (när du fortfarande kan göra ändringar!) gör din forskning ännu starkare och ökar dina chanser att publicera – även om resultaten är negativa eller noll. Underskatta aldrig hur mycket du kan bidra till att öka allmänhetens förtroende för vetenskapen genom att planera din forskning på detta sätt.

Föreställ dig att replikera eller förlänga ditt eget arbete, år i framtiden
Föreställ dig att du beskriver din inställning till statistisk analys för ditt framtida jag, på exakt samma sätt som vi har beskrivit för att skriva din metodsektion. Vad skulle du behöva veta för att replikera eller utöka ditt eget arbete? När du tänker på att du kan vara på en annan institution, arbeta med olika kollegor, använda olika program, applikationer, resurser — eller kanske till och med anta nya statistiska tekniker som har uppstått — kan du hjälpa dig att föreställa dig vilken nivå av rapporteringsspecificitet som du själv skulle kräva för att göra om eller förlänga ditt arbete. Tänk på:

  • vilka detaljer skulle du behöva påminnas om?
  • Vad gjorde du med rådata före analys?
  • har syftet med analysen förändrats före eller under experimenten?
  • vilka deltagare bestämde du dig för att utesluta?
  • vilken process justerade du under ditt arbete?

även om en nödvändig justering du gjorde inte var idealisk, är öppenhet nyckeln till att säkerställa att detta inte betraktas som ett problem i framtiden. Det är mycket bättre att transparent förmedla alla icke-optimala tekniker eller begränsningar än att dölja dem, vilket kan leda till Reproducerbarhet eller etiska frågor nedströms.

befintliga standarder, checklistor, riktlinjer för specifika discipliner

du kan tillämpa de öppna vetenskapliga metoderna som beskrivs ovan oavsett vad ditt kompetensområde är—men i många fall kan du fortfarande behöva mer detaljerad vägledning specifik för ditt eget område. Många discipliner, fält och projekt har arbetat hårt för att utveckla riktlinjer och resurser för att hjälpa till med statistik och för att identifiera och undvika dåliga statistiska metoder. Nedan hittar du några av de viktigaste materialen.

tips: har du en specifik tidskrift i åtanke?

var noga med att läsa inlämningsriktlinjerna för den specifika tidskriften du skickar in för att upptäcka eventuella tidskrifts – eller fältspecifika policyer, initiativ eller verktyg att använda.

biomedicinsk forskning sampl-riktlinjer
riktlinjerna ”statistiska analyser och metoder i den publicerade litteraturen” (SAMPL) omfattar grundläggande statistikrapportering för forskning i biomedicinska tidskrifter.
allmänt PLOS ONE riktlinjer för statistikrapportering
även om de är specifika för PLOS ONE, bör dessa riktlinjer vara tillämpliga på de flesta forskningssammanhang eftersom tidskriften tjänar många forskningsdiscipliner.
systematiska utvärderingar & Meta-analyser PRISMA
”Preferred Reporting Items for Systematic Reviews and Meta-Analyses” (PRISMA) är en evidensbaserad minimiuppsättning med fokus på rapportering av utvärderingar som utvärderar randomiserade studier och andra typer av forskning.
Life Sciences mdar checklist
”konsekvent rapportering av material, Design och analys” (MDAR) checklista har utvecklats och testats av en cross-publisher grupp av redaktörer och experter för att etablera och harmonisera rapporteringsstandarder inom biovetenskap. Checklistan, som är tillgänglig för författare att sammanställa sina metoder och redaktörer/granskare för att kontrollera metoder, fastställer en minsta uppsättning krav i transparent rapportering och kan anpassas till alla discipliner inom biovetenskapen genom att täcka en bredd av potentiellt relevanta metodologiska artiklar och överväganden.

artiklar om statistiska metoder och rapportering

Makin, T. R., Orban de Xivry, J. Science Forum: tio vanliga statistiska misstag att se upp för när du skriver eller granskar ett manuskript. eLife 2019; 8: e48175 (2019). https://doi.org/10.7554/eLife.48175

Munaf Brasilian, M., Nosek, B., biskop, D. et al. Ett manifest för reproducerbar vetenskap. Nat Hum Behav 1, 0021 (2017). https://doi.org/10.1038/s41562-016-0021

skrivtips

din användning av statistik bör vara rigorös, lämplig och kompromisslös för att undvika analytisk flexibilitet. Även om detta är svårt, Kompromissa inte med strikta standarder för trovärdighet!

vad ska man göra

Do

  • kom ihåg att förtroende för vetenskap är allas ansvar.
  • Tänk på framtida replikerbarhet.
  • överväg att förregistrera din analysplan för att få den (i) granskad innan resultaten samlas in för att kontrollera problem innan de uppstår och (ii) och för att undvika analytisk flexibilitet.
  • följer principer, men även checklistor och fält – och tidskriftsspecifika riktlinjer.
  • Tänk på ett engagemang för rigorös och transparent vetenskap ett personligt ansvar, och inte enkelt följa journalriktlinjerna.
  • var specifik om alla beslut som fattas under experimenten som någon som reproducerar ditt arbete skulle behöva veta.
  • Tänk på en kurs i avancerad och ny stratistik, om du känner att du inte har fokuserat på det tillräckligt under din forskarutbildning.

vad man inte ska göra

gör inte

  • felaktig statistik för att påverka betydelse eller andra tolkningar av resultat
  • utför dina statistiska analyser om du är osäker på vad du gör—sök först feedback (t.ex. via förregistrering) från en statistisk specialist.

Lämna en kommentar

Din e-postadress kommer inte publiceras.