Küsimus:
Miks teadlased ebaõnnestunud katseid ei avalda?
user107
2012-03-15 10:01:05 UTC
view on stackexchange narkive permalink

Järgnev võib olla väike üldistus kõigi valdkondade kohta, kuid midagi, mida olen eriti teadusliku arvutamise valdkonnas märganud:

  1. Miks inimesed ei avalda ebaõnnestumisi? Ma mõtlen, et kui nad proovisid mõnda katset ja said lõpuks aru, et proovisid kõike ja miski ei õnnestunud. Miks nad seda ei avalda? Kas sellepärast, et sellist sisu ei avaldata, või on see häbiväärne läbi viia ebaõnnestunud katse ajakirjas koos auhinnatud töödega?

  2. Kulutasin suurema osa aasta tööd, mis praegu välja näeb, surnud probleem. Kuid enamik pabereid, mida ma lugesin, viisid teid esialgu optimistlikuni. Nüüd, kui loen paberid uuesti läbi, mõistan, et võin öelda (suure kindlusega), et autor varjab midagi. Näiteks andis üks autoritest, kes võrdles kahte süsteemi, suurepärase teoreetilise aluse, kuid kui ta proovis teooriat katsetega kinnitada, olid katsetes kohutavad lahknevused (millest ma nüüd aru saan). Kui katsed teooriat ei rahuldanud, siis miks mitte seda avaldada (juhtides selgelt välja teooria osad, mis toimisid ja mis mitte) ja säästate tulevastele uurijatele aega? Kui mitte ajakirjas, siis miks mitte ArXiv või nende enda veebisaidid?

see on üks avatud teaduse punkte. Avaldate ebaõnnestunud lähenemisviise oma ajaveebis või vikis. Mäletan, et lugesin kunagi tagasi, et ebaõnnestunud uuringute (st ravim, mis ei tee midagi) avaldamata jätmine muutus meditsiiniuuringute teatud osades probleemiks ja nüüd tuleb suured NIH-uuringud (ma arvan) enne nende koostamist andmebaasis registreerida ja lisada nende tulemused olenemata sellest, kas need on positiivsed või mitte. Ma ei mäleta selle allikat kahjuks :(.
Kena nimekiri Joel Reyes Noche. Kuid teie mainitud 6 ajakirja seas on esiviisik keskendunud negatiivsete tulemustega paberitele. Viimane, [Journal of Errology] (http://www.bioflukes.com/JoE), on keskendunud keskmise pakkumisele neile avaldamata asjatutele katsetele iga avaldatud artikli taga, mis tavaliselt ära visatakse. Need on palju tavalisemad kui teised artiklid, mille avaldamiseks pole enamikul teadlastel aega, kuna need ei too nende karjäärile mingit kasu.
Postitan ülejäänud Selvini kommentaari siia (varem esitati vastusena, kuid teisendati, kuna see ei vasta küsimusele): "See tuletab mulle meelde Edisoni praktikat, kus ta pidas nimekirja kõigist asjadest, mis ei töötanud , mis aitas teda hiljem olulisel moel. Kujutage ette, et teete 10 000 erinevat katset, ilma et iga katset korralikult jälgiksite. Sellest saab õudusunenägu. "
Minu väitekirja uurimine oli null tulemus. Sellel olevas artiklis on üle 80 viite. Kuid see on osakestefüüsikas, kus oodatud nähtuste tekkele piiride seadmine on väga tavaline asi.
(Postitasin selle vastusena, kuid eemaldati, kuna see pole tegelikult vastus. Niisiis, postitamine kommentaarina) Osaliselt sellest arutelust ja osaliselt minu enda kogemustest inspireerituna korraldame meie, hulk arvutiteaduse teadlasi, seminari pealkirjaga "E-teaduse ReseaRch viib negatiivsete tulemuste hulka (ERROR)". Töötuba toimub koos eScience 2015 konverentsiga Saksamaal Münchenis. Lisateavet töötoa kohta leiate aadressilt http://press3.mcs.anl.gov/errorworkshop.
Tavaliselt on võimalik ebaõnnestumine keerutada positiivseks. Näiteks olen teadlik kahest juhtumist, kus keegi jättis xyz-i tegemata (nagu lubasid toetuseettepaneku puhul), kuid palju mõtlemist + rasket tööd ja neil õnnestus sellest loodusdokument saada, loomulikult mainimata. et nad jäid märklauast mööda ja tegid kogemata midagi hoopis teistsugust.
Ma arvasin alati, et akadeemikud ei tee kunagi vigu.
Loodan, et see küsimus pole offtopic, vaid: kuidas need uuesti uurimisdokumendid tühjusse ei kao? Kui igaüks avaldab aastas umbes 4 paberit, ei tähenda see, et juba on olemas uskumatu hulk pabereid, millele võiksite oma töö tugineda / viidata? Kas maa peal on nagu 10000 akneemilist inimest, nii et ring on üsna väike? Või on kuskil keskne andmebaas, mis jälgib kogu Maa peal kättesaadavat teaduslikku teavet? Tahaksin teada saada, kuidas saada ülevaade olemasolevatest dokumentidest, nii et te ei raiska oma aega, tehes sama
(Jah, ma tean, et seda "uuesti tegemist" nimetatakse "tõendiks", kuid see pole küsimus)
Kaheksa vastused:
Joel Reyes Noche
2012-03-15 14:18:51 UTC
view on stackexchange narkive permalink

"Miks inimesed ei avalda ebaõnnestumisi?"

Tegelikult nad seda ka teevad.

  1. Journal of Negative Results (ökoloogia ja evolutsiooniline bioloogia)
  2. Journal of Negative Results in Biomedicine
  3. Journal of Pharmaceutical Negative Results
  4. Huvitavate negatiivsete tulemuste ajakiri (loomulik keele töötlemine ja masinõpe)
  5. Journal of Negative Results in Environmental Science (pole veel probleeme?)
  6. Journal of Errology (pole veel väljaandeid?)

ja nii edasi ...

(Võib-olla soovite näha ka Aju verevoolu ajakirja & Metabolism ajakirja negatiivsete tulemuste jaotis.)

nad teevad seda, kuid mitte sageli ja mitte tavalistes ajakirjades
Vähesed neist ühestki ajakirjast pole saanud palju esildisi. See on traagiline, kuna avaldatud replikatsioonikatsete puudumine on teaduse üks suurimaid probleeme (vt Ioannidise klassikalist artiklit "Miks enamik avaldatud uurimistulemusi on valed"). Vaja on reforme, et luua teadlastele suuremad stiimulid selliste uuringute tegemiseks ja avaldamiseks. Pöördume kirjastajate poole seoses uue ajakirjakontseptsiooniga, milles vaadataks üle ainult replikatsioonikatse uuringukava (meetodid ja analüüsikava) (https://plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw), seejärel oleks avaldamine tagatud.
Undergradis fantaseerisime "American Journal of Failures and Missteps" loomisest.
Samuti tahaksin lisada, et väljakujunenud teoreetilise idee tühistamine on väga väärt avaldamist isegi positiivseid tulemusi avaldavas ajakirjas. Ja seda juhtub (kahjuks mitte piisavalt sageli).
Sellel on ka praktiline põhjus: * hea * paberi kirjutamine (isegi kui see on negatiivne) võtab aega ja vaeva, mida enamik teadlasi eelistab muidu kulutada - näiteks * positiivsete * tulemuste saavutamiseks (võib-olla lootuses need avaldada) mainekamates kohtades).
Vaatasin http://jinr.site.uottawa.ca/ - see on surnud Jim!
Fomite
2012-03-15 11:53:00 UTC
view on stackexchange narkive permalink

Nulltulemusi on raske avaldada. Nad lihtsalt on. Huvitav on aga see, et minu valdkonnas pole neid kõige raskem avaldada. Üldine järjestus on järgmine:

Hästi jõulised (suured) uuringud, mis leiavad, mida inimesed ootavad
Kehvasti töötavad (väikesed) uuringud, mis leiavad, mida inimesed ootavad
Kehvasti töötavad uuringud, mis leiavad vastupidise sellele, mida inimesed ootuspärased või tühised leiud
Hästi mõjuvad uuringud, mis leiavad vastupidise sellele, mida inimesed ootavad

Need kaks keskmist kategooriat on kõige rohkem ebaõnnestumisi, vähemalt statistiliselt tähenduslik mõju. Sellegipoolest on seda tüüpi uuringute avaldamine üha suurem tõuge, sest need on oluline osa kirjandusest ja mitmed meditsiiniajakirjad on selles suunas teinud üsna tähelepanuväärseid samme - näiteks kui nad nõustuvad dokumendiga Eelseisva kliinilise uuringu protokoll kohustuvad nad avaldama uuringu tulemused (kui nad läbivad vastastikuse eksperdihinnangu), olenemata leiust.

Kui asi puudutab seda, Ma arvan, et negatiivsete tulemuste avaldamiseks lisaks "see on raske" on kolm põhjust:

  1. tasuvuse puudumine. Kirjandusse paberi saamiseks kulub aega ja mõtlemist ning vaeva. Ja raha aja ja vaeva näol. Enamik tühiseid avastusi / ebaõnnestumisi on ummikteed - neid ei kasutata uute toetuse taotluste jaoks ega ka seal, kus te oma nime teete. Parim, mida võite loota, on see, et neid tsiteeritakse paar korda kommentaarides või metaanalüüsides. Niisiis, miks saaksite piiratud aja universumis neid tulemusi rohkem taga ajada?
  2. poleerimispuudus. Lihtsalt tulemuse leidmine on tulemuste avaldamise keskel, mitte samm "ja seega ilmub see päevikus". Sageli on seda lihtne öelda, kui midagi ei muutu edukaks juba enne avaldamiseks valmis - need projektid kipuvad loobuma. Nii et kui on "ebaõnnestunud" tulemusi, ei ole need avaldamiseks valmis tulemused, isegi kui me ebaõnnestumistest hoolisime.
  3. Paljud ebaõnnestumised on metoodilised. See uuringu kujundus ei saa tegelikult küsimust, mida soovite esitada. Teie andmed pole piisavalt head. Kogu see arutluskäik on vale. Seda on tõesti keeruline paberiks keerutada.

Edukaid töid saab avaldada nende endi edu põhjal - see on huvitav . Ebaõnnestunud paberitel on kahekordne koormus, kuna neid on nii raske avaldada kui ka see on pidanud huvitavalt läbi kukkuma.

Mulle pole selge, milline on teie nimekirjas kõige raskemini või vähem raskesti avaldatavate järjekord?
@Stephanie Nad kõik on "ma ei viitsi seda paberist teha", selle asemel, et oleks raskusi esitamisega ja seega varieeruvad teie motivatsioonist lähtuvalt.
See osa "Hästi jõulised (suured) uuringud, mis leiavad, mida inimesed ootavad, halvasti töötavad (väikesed) uuringud, mis leiavad, mida inimesed ootavad, halvasti töötavad uuringud, mis leiavad vastupidise sellele, mida inimesed ootavad, või tühised leiud natuke
@Stephanie Ah, see on mõttekam. Need on raskustes, alates kõige raskemast kuni kõige raskemini avaldatavani, ehkki see võib olla valdkonnapõhine ja põhineb slaidil, mida ma kunagi esitluses nägin.
Mulle meeldib see vastus kõige rohkem, see vastab tegelikult küsimusele. Ebaõnnestumise avaldamist ei takista miski *, kuid see võtab aega, vaeva ja raha; nõuab teie tähelepanu ja peab olema keerutatud millegi punktiga. Lisaksin veel ühe: te ei soovi oma uurimistööst liiga palju anda, kui see ikka näitab mingisugust edu. Kurb, kuid vajalik.
Stefano Borini
2012-03-15 10:19:53 UTC
view on stackexchange narkive permalink

Pole tõsi, et tõrkeid ei avaldata. Avaldatakse signaalide puudumine või korrelatsiooni puudumine. Asi on selles, et kõik, mis teadmisi edasi viib, on avaldamist väärt. See tähendab, et peate arvestama ka muude teguritega

  1. mõned ebaõnnestumised on metoodilised, st teete midagi valesti. See pole teaduslik signaal. see on midagi, mille peate lahendama.
  2. teadmine, mis ei tööta, annab konkurentsieelise teiste uurimisrühmade ees.
  3. negatiivsed signaalid ei ava peaaegu kunagi uusi valdkondi. Kui nad seda teevad, siis sellepärast, et nad juhtisid tähelepanu positiivse signaali leidmiseks kusagil mujal. Te ei ava uut vähiravimite väljatöötamist, kui leitakse, et aine ei mõju. Sa paned ühe kinni. Sel põhjusel ei pälvita negatiivsetele töödele erilist tähelepanu ja eakaaslaste tähelepanu on akadeemilises ringkonnas palju.
Huvitav. Kuid kas pole mitte kogu teabe levitamise mõte? Kui see põllu sulgeb, siis hästi! Enam ei raiska aega. Olen näinud ka palju sõjaajastamist, näiteks keelpilliteoreetikute ja ülejäänud vahel. Või GPU * ventilaatorid * vs mitme südamikuga. Kuid keegi ei lähe omade vastu.
Selles on @Nunoxic:: lastakse teistel oma aega raisata, nii et kui nad tegelevad juba õpitu väljamõtlemisega, võite neid enne neid avaldada. Kas sa arvad, et akadeemiline ringkond on kamp hipisid?
Parim näide negatiivsest tulemusest, mis oli mulle tohutult oluline, on Michaelson-Morley katse, mis puhus vana aeeteriteooria täielikult kaanest lahti. Enamik negatiivseid tulemusi ei pööra enam tähelepanu. :)
@StefanoBorini on minu arvates pigem pessimistlik. Ma näen regulaarselt avaldatud meditsiinilist kirjandust, millel pole ravimite eeliseid / mõju ja see on oluline. Üldiselt arvan, et palju ummikuid ei avaldata, sest sageli eeldatakse ummikuid; paljulubavate tulemuste (olgu need siis positiivsed või negatiivsed) lõpuleviimine võtab veel kaua aega, aega, mida võiks ehk paremini kulutada millegi paljulubavama poole püüdlemiseks.
@Nunoxic - Pole mõtet avaldada, et see õhutab annetusi ja huvi teie uurimistöö vastu. Kui panete sinna hulga pabereid selle kohta, kuidas olete miljoneid või isegi tuhandeid stipendiumi- ja erafonde raisanud ja raisanud, kuna olete segamini ajanud, on vähem tõenäoline, et rahastate oma järgmist uurimisprojekti ja võite hankida oma käimasoleva raha.
@george - see on erasektori uuring. Kindlustusseltsid jagavad hea meelega teavet, mis võib neid säästa. Mida te ei näe, et nad avaldaksid, on uuringud, mis näitaksid, et rohkem raha maksvad ravimeetodid pakuvad ka rohkem kasu. Need on pärit arstidelt.
@StefanoBorini: Jah, tegelikult oleme me hulk hipisid. Mõni meist igatahes.
Ondrej
2012-03-15 18:26:28 UTC
view on stackexchange narkive permalink

Riketest teatamata jätmise üks tagajärgi on avaldamise kallutatus. See on laialdaselt kirjeldatud nähtus, mida tavaliselt käsitletakse metaanalüüsi abil. See on siis, kui uurimus puudutab mõningaid kvantifitseeritavaid tulemusi, ütleme näiteks (lineaarset) regressiooni, tavaliselt on soovitav statistiline olulisus. Kui selliseid tulemusi ei täideta, püüavad teadlased mõnikord kohandada oma metoodikat, mudeleid, andmeid või mida iganes muud, et saada rohkem avaldatavaid tulemusi. paber (nn failisahtli probleem) oli (ja teatud määral on siiani) meditsiini probleem, nagu @Artem Kaznatcheev kommentaaris märgib ja mille tulemusena, nagu ta lisab, registreeriti katsed enne avaldamist. Tema allikad võivad erineda, kuid seda kirjeldav paber on nt. Krakovsky (2004).

Üldiselt vaadake lisateabe saamiseks Stanley (2005) või Stanley (2008) avaldamise kallutatuse ja metaanalüüsi kohta.

Bravo
2012-03-15 11:24:31 UTC
view on stackexchange narkive permalink

Mõnikord tekitavad mõned ebaõnnestumised ise uusi teooriaid. Näiteks on mehhanismide kujundamisel võimatusteoreemid (Arrow või Gibbard-Satterthwaite), mis kehtestavad rakendatavate mehhanismide piirangud.

Selles mõttes ei pruugi ainult tõrkeid publikatsioonis kasulik olla. Inimesi huvitab teadmine, miks asjad ebaõnnestusid või mis kategooria katsed / teooriad ebaõnnestuksid. Kuid selles suunas liikumine on sageli riskiga seotud: probleemi on lihtsam välja tuua ja lahendada, mitte tingimusi toota, kui probleemi ei ole võimalik lahendada. Esimene neist on huvitav laiemale publikuklassile kui teine.

Nii et kokkuvõtteks: proovige oma ebaõnnestumisi vormistada või teoreetiliselt vormistada ja vaadake, kas tulem terendab; muul juhul proovige lahendada väärilisem probleem.

Mark Hahnel
2012-04-10 15:22:26 UTC
view on stackexchange narkive permalink

Ma arvan, et see taandub kulutatud ajale. Mind isiklikult ei viitsi kulutada 2 päeva negatiivsete andmete jaoks paberi koostamiseks ja vormistamiseks. Selle tegemine peab olema tõesti lihtne ja mul on kas vaja selle eest krediiti saada või pean selleks volitusi andma.

Rahastajate nõuded ja volitused sunnivad teadlasi tegema kõik nende saadaolevad uurimistulemused on ainult aja küsimus. Samal ajal võivad altmetrikud toimida porgandina, et julgustada teadlasi jagama oma andmeid, isegi negatiivseid asju.

lynxoid
2012-03-19 02:12:46 UTC
view on stackexchange narkive permalink

Kui olete palju kirjandust lugenud ja siis aru saanud, et olete ummikus, võite vähemalt avaldada ülevaate kõigi õpitud meetodite ja tehnikate kohta.

uli
2015-04-02 19:03:20 UTC
view on stackexchange narkive permalink

Seal on Teataja lahendamata küsimustest JunQ. Nad koguvad nulltulemustega uuringuid ja avatud probleeme.



ⓘ
See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 3.0-litsentsi eest, mille all seda levitatakse.
Loading...