Küsimus:
Kas p-väärtuste korrigeerimine mitme regressiooni korral mitme võrdluse jaoks on hea mõte?
Mikael M
2010-09-30 19:07:56 UTC
view on stackexchange narkive permalink

Oletame, et olete sotsiaalteadlane / ökonomeetrik ja üritate leida asjakohaseid teenuse nõudluse ennustajaid. Teil on 2 tulemust / sõltuvat muutujat, mis kirjeldavad nõudlust (kasutades teenust jah / ei ja esinemiste arvu). Teil on 10 ennustajat / sõltumatut muutujat, mis võiksid nõudlust teoreetiliselt seletada (nt vanus, sugu, sissetulek, hind, rass jne). Kahe eraldi mitme regressiooni käivitamine annab 20 koefitsiendi hinnangu ja nende p-väärtused. Kui teie regressioonides on piisavalt sõltumatuid muutujaid, leiate varem või hiljem vähemalt ühe muutuja, millel on statistiliselt oluline korrelatsioon sõltuvate ja sõltumatute muutujate vahel.

Minu küsimus: kas mitme katse p-väärtuste korrigeerimine on hea mõte, kui tahan regressiooni lisada kõik sõltumatud muutujad? Igasugused viited varasemale tööle on väga teretulnud.

hmmm ... huvitav probleem - kahemõõtmeline regressioon ühe muutuja [omamoodi] pideva ja ühe dihhotoomiga.tavaline MVN regressiooniteooria ütleb, et kahe kahemõõtmelise normaalse vastuse korral eraldi regressioonide tegemine - ja siis tulemuste kokku panemine - on õige analüüs - gauss-markovi tähenduses - regressioonihinnangute vc maatriksi minimeerimine kõigi erapooletute lineaarsete hinnangute hulgas - jaMVN-i puhul kõigi erapooletute hinnangute seas].kas „eraldi regressioonid” on ikka parim, mida saab teha, kui üks regressioon on logistiline?[erapooletus tundub sel juhul natuke veniv, v.a.
Viis vastused:
chl
2010-09-30 19:33:12 UTC
view on stackexchange narkive permalink

Tundub, et teie küsimus käsitleb üldisemalt heade ennustajate tuvastamise probleemi. Sel juhul peaksite kaaluma mingisuguse karistatud regressiooni kasutamist (ka muutuja või funktsioonide valimisega tegelevad meetodid on asjakohased), nt. L1, L2 (või nende kombinatsioon, nn elastne võrk) karistused (otsige sellel saidil seotud küsimusi või R karistatakse ja elastne võrk pakett, muu hulgas).

Nüüd, kui soovite oma regressioonikordajate (või samaväärselt osaliste korrelatsioonikordajate) p-väärtusi korrigeerida, et kaitsta liigset optimismi (nt Bonferroni või paremate astmeliste meetodite korral), tundub, et see See on asjakohane ainult siis, kui kaalute ühte mudelit ja otsite neid ennustajaid, mis annavad olulise osa selgitatud dispersioonist, st kui te ei tee mudeli valimist (astmelise valiku või hierarhilise testimisega). See artikkel võib olla hea algus: Bonferroni kohandused regressioonikordajate testides. Pange tähele, et selline parandus ei kaitse teid multikollineaarsuse probleemide eest, mis mõjutavad teatatud p-väärtusi.

Teie andmeid arvestades soovitaksin kasutada mingisuguseid iteratiivseid mudelivaliku tehnikaid. Näiteks R-s võimaldab funktsioon stepAIC teha mudeli järkjärgulist valimist täpse AIC-i abil. Samuti saate boostrapi abil prognoosida oma ennustajate suhtelist tähtsust nende panuse põhjal R $ 2 $ -le (vt paketti relaimpo). Ma arvan, et aruandefekti suuruse mõõt või selgitatud dispersiooni protsent on informatiivsem kui p-väärtus, eriti kinnitusmudelis.

Tuleb märkida, et järkjärgulistel lähenemisviisidel on ka oma puudused (nt Waldi testid ei ole kohandatud tingimusliku hüpoteesiga, nagu on esile kutsutud astmelise protseduuriga), või nagu on näidanud Frank Harrell lehel R mailing "AIC-l põhineval astmelisel muutuja valikul on kõik P-väärtustel põhineva järk-järgulise muutuja valiku probleemid. AIC on lihtsalt P-väärtuse ümbersõnastus" (kuid AIC jääb kasulikuks, kui ennustajate komplekt on juba määratletud); seotud küsimus - Kas muutuja on lineaarse regressioonimudeli puhul oluline? - tekitas huvitavaid kommentaare (muu hulgas @Rob) AIC kasutamise kohta muutujate valimisel. Lisan lõppu paar viidet (sealhulgas lahkelt @Stephan esitatud artiklid); P.Mean -i kohta on ka palju muid viiteid.

Frank Harrell kirjutas raamatu regressiooni modelleerimise strateegiast, mis sisaldab palju arutelusid ja nõuandeid selle probleemi kohta (§4.3, lk 56–60). Ta töötas välja ka tõhusad R-rutiinid üldistatud lineaarsete mudelite käsitlemiseks (vt pakette Design või rms). Nii et ma arvan, et peate kindlasti sellele pilgu peale heitma (tema jagatavad väljaanded on saadaval tema kodulehel).

Viited

  • Whittingham, MJ, Stephens, P, Bradbury, RB ja Freckleton, RP (2006). Miks me ökoloogias ja käitumises ikkagi astmelist modelleerimist kasutame? Journal of Animal Ecology , 75 , 1182-1189.
  • Austin, PC (2008). Bootstrapi mudeli valimisel oli autentsete ja mürategurite valimisel sarnane tulemus võrreldes tagurpidi muutujate kõrvaldamisega: simulatsiooniuuring. Journal of Clinical Epidemiology , 61 (10) , 1009-1017.
  • Austin, PC ja Tu, JV (2004). Logistilise regressiooni automatiseeritud muutuvvaliku meetodid andsid ebastabiilseid mudeleid ägeda müokardiinfarkti suremuse ennustamiseks. Kliinilise epidemioloogia ajakiri , 57 , 1138–1146.
  • Gröönimaa, S (1994). Hierarhiline regressioon mitme ekspositsiooni epidemioloogiliste analüüside jaoks. Keskkonnatervise perspektiivid , 102 (Suppl 8) , 33–39.
  • Gröönimaa, S (2008). Mitu võrdlust ja seose valimine üldises epidemioloogias. International Journal of Epidemiology , 37 (3) , 430–434.
  • Beyene, J, Atenafu, EG, Hamid, JS, To, T ja Sung L (2009). Muutujate suhtelise tähtsuse määramine ennustavate mudelite väljatöötamisel ja kinnitamisel. BMC meditsiiniuuringute metoodika , 9 , 64.
  • Bursac, Z, Gauss, CH, Williams, DK ja Hosmer, DW (2008). Muutujate sihipärane valik logistilises regressioonis. Bioloogia ja meditsiini lähtekood , 3 , 17.
  • Brombin, C, Finos, L ja Salmaso, L (2007). P-väärtuste järkjärguline kohandamine üldistatud lineaarsetes mudelites. Rahvusvaheline konverents mitmekordsete võrdlusprotseduuride kohta . - vaadake paketti R someMTP step.adj () .
  • Wiegand, RE (2010). Mitme astmelise algoritmi muutujate valimisel kasutamine. Statistika meditsiinis , 29 (15), 1647–1659.
  • Moons KG, Donders AR, Steyerberg EW ja Harrell FE (2004). Binaarsete tulemuste ennustamiseks karistatud maksimaalse tõenäosuse hinnang. Journal of Clinical Epidemiology , 57 (12) , 1262–1270.
  • Tibshirani, R (1996). Regressiooni kahanemine ja valik lasso kaudu. The Royal Statistics Society ajakiri B , 58 (1) , 267–288.
  • Efron, B, Hastie, T, Johnstone, I, ja Tibshirani, R (2004). väikseima nurga regressioon. Statistika annalid , 32 (2) , 407-499.
  • Flom, PL ja Cassell, DL (2007). Samm-sammult peatumine: miks on järk-järgulised ja sarnased valikumeetodid halvad ning mida peaksite kasutama. NESUG 2007 toimingud .
  • Shtatland, E.S., Cain, E. ja Barton, M.B. (2001). Järkjärgulise logistilise taandarengu ohud ja nende vältimine infokriteeriumide ja väljundsüsteemi abil. SUGI 26 Toimetised (lk 222–226).
    • Ma ei pahanda tagasihääletamist, kuid kommentaar oleks teretulnud (et saaksin ise õppida, aru saada, mis valesti oli, ja parandada oma tulevasi vastuseid).
    +1, hea vastus ja ka CHL-i kommentaar selle kohta, kuidas jätta tagasihääletustele selgitus, et nii autor kui ka lugejad saaksid aru, mis võib puududa. Aitäh.
    Teiseks lisan chl soovituse kasutada mingit karistatud regressiooni (nt Lasso).
    @chl: Olen rahul ennustaja järkjärgulise valiku soovitamisega. Tavaliselt põhineb see p-väärtustel ("välista ennustaja p> .15-ga, lisage see, kui p <.05") ja see viib kallutatud hinnangute ja halva ennustustulemuseni (Whittingham et al., 2006, Miks me ikkagi kasutada ökoloogias ja käitumises astmelist modelleerimist? J Anim Ecol, 75, 1182-1189). Kuid AIC-põhistel astmelistel lähenemistel on sama nõrkus - Frank Harrell arutas seda R-abi postituses esmaspäeval, 9. augustil 2010 16:34:19 -0500 (CDT) lõimes "Logistiline regressioon R-is (SAS - nagu väljund) ".
    Kas linkide lisamiseks kommentaaridesse on kuidagi võimalik?
    @Stephan +1 Täname selle eest. Ma tean Frank Harrelli vaatenurka. Tema raamat on biostatistika "päästmine", samuti EW Steyerbergi uuem raamat. Seetõttu viitasin oma vastuse lõpus tema tööle, eeldades, et huvitatud lugeja otsib põhjalikumat selgitust. Minu algne mõte oli lihtsalt osutada probleemile lähenemise erinevatele viisidele. Nagu whuber kenasti välja tõi, on minu vastuses veel arenguruumi, esp. ristkinnitamise ja kontseptuaalsete probleemidega ennustava modelleerimise ümber.
    @Stephan Nüüd on probleem selles, et sageli tahame oma mudelisse jätta mõned muutujad (olenemata nende p-väärtustest), nagu @whuber ütles; sellepärast soovitasin vaadata J Goemani paketti `karistatud`, sest see võimaldab karistada vaid osa kovariaatide hulgast. Oma kogemuse põhjal leidsin, et Lasso / Ridge'i taandarengu tulemusi on välisele vaatajaskonnale veidi keeruline selgitada, esp. kui andmed tegelikult ei nõua kokkutõmbumist / korrigeerimist (nt "ideaalne" juhtum 500 subjektiga ja 10 muutujaga, ilma kollineaarsuse ja vahenduseta). Nii et kui saame asjad lihtsad ilma üleliigse paigaldamiseta ...
    whuber
    2010-09-30 20:53:07 UTC
    view on stackexchange narkive permalink

    Suurel määral saate teha kõike, mis teile meeldib tingimusel, et teil on juhuslikult piisavalt andmeid, et testida säilitatud andmete põhjal mis tahes mudelit, mille välja mõtlete. 50% jagamine võib olla hea mõte. Jah, sa kaotad teatud võime suhteid avastada, kuid see, mida saad, on tohutu; nimelt võime oma teost paljundada enne selle avaldamist. Pole tähtis, kui keerulised on statistilised võtted, mida te kasutate, olete šokeeritud, kui paljud "olulised" ennustajad kinnitusandmetele rakendatuna on täiesti kasutud.

    Pidage ka seda meeles " asjakohane "ennustamiseks tähendab rohkem kui madalat p-väärtust. Lõppude lõpuks tähendab see ainult seda, et tõenäoliselt pole selles konkreetses andmekogumis leitud seos juhus. Ennustamiseks on tegelikult olulisem leida muutujad, millel on prognoosimõõdule oluline mõju (ilma mudeli üle sobitamata); see tähendab, et leida muutujad, mis on tõenäoliselt "tõelised" ja kui need varieeruvad kogu mõistliku väärtuste vahemikus (mitte ainult need väärtused, mis võivad teie proovis esineda!), põhjustab ennustaja erinevad märkimisväärselt. Kui teil on mudeli kinnitamiseks andmed olemas, võite olla mugavam ajutiselt säilitada marginaalselt "olulisi" muutujaid, millel ei pruugi olla madalat p-väärtust.

    Nendel põhjustel (ja tuginedes chl-i heale vastusele) ), kuigi olen leidnud samm-sammulisi mudeleid, AIC-i võrdlusi ja Bonferroni parandusi üsna kasulikuks (eriti kui mängus on sadu või tuhandeid võimalikke ennustajaid), ei tohiks need olla ainsad määravad tegurid, millised muutujad teie mudelisse sisenevad. Ärge unustage ka teooria pakutavaid juhiseid: muutujates, millel on tugev teoreetiline põhjendus olla mudelis, tuleks tavaliselt hoida ka siis, kui need pole olulised, tingimusel, et need ei loo ebasobivaid võrrandeid ( nt , kollineaarsus).

    NB : kui olete mudeli kallale asunud ja kinnitanud selle kasulikkust pidurdusandmetega, on hea kombineerida säilitatud andmed lõpliku hinnangu saamiseks väljapikendusandmetega. Seega pole midagi kadunud täpsuse osas, mille abil saate mudeli koefitsiente hinnata.

    Aitäh! Kui teil pole juurdepääsu algandmetele, vaid ainult regressioonikordajate tabelile, kas Bonferroni korrigeerimine on teie ainus valik?
    Eeldatavasti on teil ka p-väärtused :-). Kuid ainult nende ja koefitsientidega on raske ette kujutada, mida võiksite peale Bonferroni korrigeerimise veel teha. (Sellise korrigeerimise olen alati teinud, kui loen mitut testi sisaldavat paberit: see on kiire viis tõenäoliselt rämpsposti tulemuste võitmiseks.) Enamik inimesi esitab muutujate jaoks ka kokkuvõtliku statistika: saate kasutada vahemikke või SD-sid koos koefitsiendid, et hinnata, kui suurt mõju võib iga selgitav muutuja prognoosiandmele avaldada.
    Täname selgituse eest, esp. ristkinnitamise kohta. Hindan teie viimast argumenti, s.t et peame otsima ka teoreetilist asjakohasust (väljaspool p-väärtusi).
    Brenden
    2010-10-05 01:40:31 UTC
    view on stackexchange narkive permalink

    Ma arvan, et see on väga hea küsimus; see jõuab vaidleva mitmekordse testimise "probleemi" keskmesse, mis vaevab valdkondi alates epidemioloogiast kuni ökonomeetriani. Lõppude lõpuks, kuidas saame teada, kas leitav tähendus on võlts või mitte? Kui tõsi on meie mitmemuutuv mudel?

    Mis puutub mürategurite avaldamise tõenäosuse kompenseerimise tehnilistesse lähenemistesse, siis oleksin südamest nõus „whuberiga“, et osa teie valimi kasutamisest treeningandmetena ja ülejäänud osa testina andmed on hea mõte. See on lähenemisviis, mida arutatakse tehnilises kirjanduses, nii et kui võtate aega, võite tõenäoliselt leida mõned head juhised, millal ja kuidas seda kasutada.

    Kuid mitmekordse testimise filosoofia soovitan teil lugeda artikleid, millele viitan allpool, millest mõned toetavad seisukohta, et mitmekordse testimise jaoks kohanemine on sageli kahjulik (maksumus), tarbetu ja võib olla isegi loogiline eksitus. Ma ei nõustu automaatselt väitega, et teise uurimine vähendab meie võimet ühe potentsiaalse ennustaja järele andmatult. perekondlikult 1. tüübi veamäär võib suureneda, kui kaasame antud mudelisse rohkem ennustajaid, kuid seni, kuni me ei ületa valimi suuruse piire, on 1. tüübi vea tõenäosus iga individuaalne ennustaja on konstantne; ja perekondlike vigade kontrollimine ei valgusta, milline konkreetne muutuja on müra ja milline mitte. Muidugi on ka veenvaid vastuargumente.

    Niikaua kui piirdute potentsiaalsete muutujate loendiga usutavatega (st kui oleks teada tulemusi), on risk võltsinguga on juba üsna hästi hakkama saadud.

    Lisan siiski, et ennustav mudel ei ole nii seotud ennustajate "tõeväärtusega" kui põhjuslik mudel; mudelis võib olla palju segadust, kuid seni, kuni me seletame suurt dispersiooni, pole see meile liiga murettekitav. See muudab töö vähemalt ühes mõttes lihtsamaks.

    Cheers,

    Brenden, biostatistiline konsultant

    PS: võiksite kirjeldatavate andmete jaoks teha nullpumbatud Poissoni regressiooni kahe eraldi asemel taandarengud.

    1. Perneger, TV Mis Bonferroni korrigeerimisega viga on. BMJ 1998; 316: 1236
    2. Cook, R.J. & hüvasti, V.T. Kliiniliste uuringute kavandamisel ja analüüsimisel paljusid kaalutlusi. Kuningliku Statistikaühingu ajakiri , sari A 1996; Vol. 159, nr 1: 93-110
    3. Rothman, K.J. Mitme võrdluse jaoks pole muudatusi vaja. Epidemioloogia 1990; Vol. 1, nr 1: 43–46
    4. Marshall, J. R. Andmete süvendamine ja tähelepanuväärsus. Epidemioloogia 1990; Vol. 1, nr 1: 5–7
    5. Gröönimaa, S. & Robins, J. M. Empirical-Bayesi korrigeerimised mitme võrdluse jaoks on mõnikord kasulikud. Epidemioloogia 1991; Vol. 2, nr 4: 244-251
    Jätkub: 2. Cook R.J. ja hüvastijätuks V.T. Kliiniliste uuringute kavandamisel ja analüüsimisel paljusus. Kuningliku Statistikaühingu ajakiri, seeria A 1996; Vol. 159, nr 1: 93-110
    Tänan teid kommentaaride eest, Brenden, eriti viimane ennustuse ja põhjusliku selgituse kohta. Ja tere tulemast saidile! Loodan, et näen tulevikus veel palju teie kaastöid.
    Jätkub: 3. Rothman K.J. Mitme võrdluse jaoks pole kohandusi vaja. Epidemioloogia 1990; Vol. 1, nr 1: 43-46 4. Marshall J. R. Andmete süvendamine ja tähelepanuväärsus. Epidemioloogia 1990; Vol. 1, nr 1: 5-7 5. Mõnikord on kasulik Greenland S. ja Robins J. M. Empirical-Bayesi korrigeerimine mitme võrdluse jaoks. Epidemioloogia 1991; 2, nr 4: 244-251
    (+1) Võite olla huvitatud järgmisest lõimest: http://stats.stackexchange.com/questions/3252/how-to-cope-with-exploratory-data-analysis-and-data-dredging-in-small -proov-naast. Tundub, et meil on palju ühiseid linke :-)
    gung - Reinstate Monica
    2012-06-06 00:20:49 UTC
    view on stackexchange narkive permalink

    Siin on häid vastuseid. Lubage mul lisada paar väikest punkti, mida ma mujal ei näe.

    Esiteks, milline on teie vastusemuutujate olemus? Täpsemalt öeldes, kas neid mõistetakse omavahel seotud? Te peaksite tegema kaks eraldi mitut regressiooni ainult siis, kui neid mõistetakse sõltumatutena (teoreetiliselt) / kui kahe mudeli jäägid on sõltumatud (empiiriliselt). Vastasel juhul peaksite kaaluma mitmemõõtmelist regressiooni. ('Mitmemõõtmeline' tähendab> 1 vastusemuutujat; 'Mitmekordne' tähendab> 1 ennustavat muutujat.)

    Teine asi, mida meeles pidada, on see, et mudeliga kaasneb globaalne $ F $ test, mis on kõigi ennustajate samaaegne testimine. On võimalik, et globaalne test on „mitteoluline”, samas kui mõned üksikud ennustajad näivad olevat „olulised”. See peaks andma teile pausi, kui see juhtub. Teiselt poolt, kui globaalne test viitab sellele, et vähemalt mõned ennustajad on omavahel seotud, annab see teile kaitse mitme võrdluse probleemi eest (st see näitab, et kõik nullid pole tõesed).

    Charlie
    2010-09-30 21:04:06 UTC
    view on stackexchange narkive permalink

    Võite teha pealtnäha mitteseotud regressiooni ja kasutada F-testi. Pange oma andmed sellisesse vormi: 

      Out1 1 P11 P12 0 0 0Out2 0 0 0 1 P21 P22

    nii, et teie esimese tulemusel on oma väärtused, kui see tulemus on y muutuja ja 0 muidu ning vastupidi. Nii et teie y on mõlema tulemuse loend. P11 ja P12 on kaks esimese tulemuse ennustajat ning P21 ja P22 on kaks ennustajat teise tulemuse jaoks. Kui seks on näiteks mõlema tulemuse ennustaja, peaks selle kasutamine 1. tulemuse ennustamiseks olema 2. tulemuse ennustamisel eraldi muutuja / veerus. See võimaldab teie regressioonil olla iga soo jaoks soo jaoks erinevad kalded / mõjud.

    Selles raamistikus saate kasutada standardseid F-testimisprotseduure.



    ⓘ
    See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
    Loading...