Wat is het verschil tussen "waarschijnlijkheid" en "waarschijnlijkheid"?

Question

view on stackexchange narkive permalink

Op de Wikipedia-pagina wordt beweerd dat waarschijnlijkheid en waarschijnlijkheid verschillende concepten zijn.

In niet-technisch taalgebruik is 'waarschijnlijkheid' meestal een synoniem voor 'waarschijnlijkheid', maar in statistisch gebruik is er een duidelijk onderscheid in perspectief: het aantal dat de waarschijnlijkheid is van sommige waargenomen uitkomsten gegeven een reeks parameterwaarden, wordt beschouwd als de waarschijnlijkheid van de reeks parameterwaarden gegeven de waargenomen uitkomsten.

Kan iemand een meer nuchtere beschrijving geven van wat dit betekent? Bovendien zouden enkele voorbeelden van hoe "waarschijnlijkheid" en "waarschijnlijkheid" het oneens zijn, mooi zijn.

Answer 1

view on stackexchange narkive permalink

Het antwoord hangt ervan af of u te maken heeft met discrete of continue willekeurige variabelen. Dus ik zal mijn antwoord dienovereenkomstig splitsen. Ik ga ervan uit dat je technische details wilt en niet per se een uitleg in gewoon Engels.

Discrete willekeurige variabelen

Stel dat je een stochastisch proces hebt dat neemt discrete waarden (bijv. resultaten van 10 keer opgooien van een munt, aantal klanten dat binnen 10 minuten in een winkel arriveert, enz.). In dergelijke gevallen kunnen we de waarschijnlijkheid berekenen van het observeren van een bepaalde reeks uitkomsten door geschikte aannames te doen over het onderliggende stochastische proces (de kans op landingskoppen van munten is bijvoorbeeld $ p $ span > en dat het opgooien van munten onafhankelijk is).

Geef de waargenomen resultaten aan door $ O $ en de set parameters die het stochastische proces beschrijven als $ \ theta $ . Als we het dus over waarschijnlijkheid hebben, willen we $ P (O | \ theta) $ berekenen. Met andere woorden, gegeven specifieke waarden voor $ \ theta $ , $ P (O | \ theta) $ is de kans dat we de resultaten zouden observeren die worden weergegeven door $ O $ .

Wanneer we echter een echt stochastisch proces modelleren, weten we vaak $ \ theta $ niet. We observeren eenvoudig $ O $ en het doel is dan om tot een schatting te komen voor $ \ theta $ dat zou een plausibele keuze zijn gezien de waargenomen resultaten $ O $ . We weten dat gegeven een waarde van $ \ theta $ de kans om $ O $ te observeren $ P (O | \ theta) $ . Een 'natuurlijk' schattingsproces is dus om die waarde van $ \ theta $ te kiezen die de kans maximaliseert dat we $ O $ . Met andere woorden, we vinden de parameterwaarden $ \ theta $ die de volgende functie maximaliseren:

$ L (\ theta | O) = P (O | \ theta) $

$ L (\ theta | O) $ span > heet de waarschijnlijkheidsfunctie. Merk op dat de waarschijnlijkheidsfunctie per definitie afhankelijk is van de waargenomen $ O $ en dat het een functie is van de onbekende parameters $ \ theta $ .

Continue willekeurige variabelen

In het continue geval is de situatie vergelijkbaar met één belangrijk verschil. We kunnen niet langer praten over de waarschijnlijkheid die we hebben waargenomen $ O $ gegeven $ \ theta $ omdat in de doorlopend hoofdlettergebruik $ P (O | \ theta) = 0 $ . Zonder in technische details in te gaan, is het basisidee als volgt:

Geef de kansdichtheidsfunctie (pdf) aan die is gekoppeld aan de resultaten $ O $ als: $ f (O | \ theta) $ . Dus in het continue geval schatten we $ \ theta $ gegeven waargenomen resultaten $ O $ door het volgende te maximaliseren functie:

$ L (\ theta | O) = f (O | \ theta) $

In deze situatie , kunnen we technisch niet beweren dat we de parameterwaarde vinden die de kans maximaliseert dat we $ O $ waarnemen terwijl we de PDF maximaliseren die is gekoppeld aan de waargenomen resultaten $ O $ .

Answer 2

view on stackexchange narkive permalink

Dit is het soort vraag dat zowat iedereen zal beantwoorden en ik zou verwachten dat alle antwoorden goed zijn. Maar je bent een wiskundige, Douglas, dus laat me een wiskundig antwoord geven.

Een statistisch model moet twee verschillende conceptuele entiteiten met elkaar verbinden: data , dit zijn elementen $ x $ van een set (zoals een vectorruimte), en een mogelijk kwantitatief model van het datagedrag. Modellen worden meestal weergegeven door punten $ \ theta $ op een eindig-dimensionaal spruitstuk, een spruitstuk met grens of een functieruimte (de laatste wordt een 'niet-parametrische' probleem).

De gegevens $ x $ zijn verbonden met de mogelijke modellen $ \ theta $ door middel van een functie $ \ Lambda (x, \ theta) $ . Voor elk gegeven $ \ theta $ is $ \ Lambda (x, \ theta) $ bedoeld de kans (of waarschijnlijkheidsdichtheid) van $ x $ . Voor een willekeurige $ x $ daarentegen $ \ Lambda (x, \ theta) $ kan worden gezien als een functie van $ \ theta $ en wordt meestal verondersteld bepaalde leuke eigenschappen te hebben, zoals continu op de tweede plaats te differentiëren. De intentie om $ \ Lambda $ op deze manier te bekijken en deze aannames te doen, wordt aangekondigd door $ \ Lambda $ span> de "waarschijnlijkheid."

Het lijkt veel op het onderscheid tussen variabelen en parameters in een differentiaalvergelijking: soms willen we de oplossing bestuderen (d.w.z. we concentreren ons op de variabelen als argument) en soms willen we bestuderen hoe de oplossing varieert met de parameters. Het belangrijkste onderscheid is dat we in de statistiek zelden de gelijktijdige variatie van beide reeksen argumenten hoeven te bestuderen; er is geen statistisch object dat natuurlijk overeenkomt met het wijzigen van zowel de gegevens $ x $ als de modelparameters $ \ theta $ span>. Daarom hoor je meer over deze tweedeling dan in een analoge wiskundige setting.

Answer 3

view on stackexchange narkive permalink

Ik zal proberen de wiskunde in mijn uitleg te minimaliseren, aangezien er al een aantal goede wiskundige verklaringen zijn.

Zoals Robin Girard opmerkt, hangt het verschil tussen waarschijnlijkheid en waarschijnlijkheid nauw samen met het verschil tussen waarschijnlijkheid en statistieken. In zekere zin houden waarschijnlijkheid en statistieken zich bezig met problemen die tegengesteld of omgekeerd aan elkaar zijn.

Overweeg een toss. (Mijn antwoord is vergelijkbaar met Voorbeeld 1 op Wikipedia.) Als we weten dat de munt eerlijk is ( $ p = 0,5 $ ), is een typische Kansvraag is: Wat is de kans om twee koppen op een rij te krijgen. Het antwoord is $ P (HH) = P (H) \ maal P (H) = 0.5 \ times0.5 = 0.25 $ .

Een typische statistische vraag is: is de munt eerlijk? Om dit te beantwoorden, moeten we ons afvragen: in hoeverre ondersteunt onze steekproef onze hypothese dat $ P (H) = P (T) = 0,5 $ ?

Het eerste punt om op te merken is dat de richting van de vraag is omgekeerd. Bij waarschijnlijkheid beginnen we met een veronderstelde parameter ( $ P (head) $ ) en schatten we de waarschijnlijkheid van een gegeven steekproef (twee koppen op een rij). In statistieken beginnen we met de waarneming (twee koppen op een rij) en maken INFERENTIE over onze parameter ( $ p = P (H) = 1- P (T) = 1 - q $ ).

Voorbeeld 1 op Wikipedia laat ons zien dat de maximale waarschijnlijkheidsschatting van $ P (H) $ na 2 koppen op rij $ p_ {MLE} = 1 $ . Maar de gegevens sluiten op geen enkele manier de werkelijke parameterwaarde $ p (H) = 0,5 $ uit (laten we ons op dit moment niet bezighouden met de details). Inderdaad slechts zeer kleine waarden van $ p (H) $ en in het bijzonder $ p (H) = 0 $ kan redelijkerwijs worden geëlimineerd na $ n = 2 $ (twee keer gooien met de munt). Nadat de derde worp staarten omhoog komt, kunnen we nu de mogelijkheid elimineren dat $ P (H) = 1.0 $ (dwz het is geen twee -headed coin), maar de meeste waarden ertussen kunnen redelijk ondersteund worden door de gegevens . (Een exact binominaal betrouwbaarheidsinterval van 95% voor $ p (H) $ is 0,094 tot 0,992.

Na 100 keer opgooien en (laten we zeggen) 70 hoofden, hebben we nu een redelijke basis voor het vermoeden dat de munt in feite niet eerlijk is. Een exact 95% BI op $ p (H) $ is nu 0,600 tot 0,787 en de kans om een ​​resultaat te zien dat zo extreem is als 70 of meer kop (of munt) uit 100 worpen gegeven $ p (H) = 0,5 $ is 0,0000785.

Hoewel ik niet expliciet waarschijnlijkheidsberekeningen heb gebruikt, geeft dit voorbeeld het concept van waarschijnlijkheid weer: Waarschijnlijkheid is een maatstaf voor de mate waarin een steekproef ondersteuning biedt voor bepaalde waarden van een parameter in een parametrisch model .

Answer 4

view on stackexchange narkive permalink

Ik zal je het perspectief geven vanuit de weergave van de Likelihood Theory die zijn oorsprong vindt bij Fisher - en die de basis vormt voor de statistische definitie in het geciteerde Wikipedia-artikel.

Stel dat je willekeurige variaties $ X $ hebt die voortkomen uit een geparametriseerde distributie $ F (X; \ theta) $, waarbij $ \ theta $ de parameter is die $ F $ kenmerkt. Dan zou de kans op $ X = x $ zijn: $ P (X = x) = F (x; \ theta) $, met bekende $ \ theta $.

Vaker heb je gegevens $ X $ en $ \ theta $ is onbekend. Gegeven het veronderstelde model $ F $, wordt de waarschijnlijkheid gedefinieerd als de waarschijnlijkheid van waargenomen gegevens als functie van $ \ theta $: $ L (\ theta) = P (\ theta; X = x) $. Merk op dat $ X $ bekend is, maar $ \ theta $ onbekend is; in feite is de motivatie voor het definiëren van de waarschijnlijkheid het bepalen van de parameter van de verdeling.

Hoewel het lijkt alsof we de waarschijnlijkheidsfunctie simpelweg hebben herschreven, is een belangrijk gevolg hiervan dat de waarschijnlijkheidsfunctie niet gehoorzamen aan de waarschijnlijkheidswetten (het is bijvoorbeeld niet gebonden aan het [0, 1] interval). De waarschijnlijkheidsfunctie is echter evenredig met de waarschijnlijkheid van de geobserveerde gegevens.

Dit concept van waarschijnlijkheid leidt eigenlijk tot een andere denkrichting, "likelihoodists" (verschillend van frequentist en bayesian) en je kunt googlen om te zoeken naar alle verschillende historische debatten. De hoeksteen is het waarschijnlijkheidsprincipe dat in wezen zegt dat we inferentie rechtstreeks kunnen uitvoeren vanuit de waarschijnlijkheidsfunctie (noch Bayesianen, noch frequentisten aanvaarden dit omdat het geen op waarschijnlijkheid gebaseerde inferentie is). Tegenwoordig is veel van wat op scholen als "frequentist" wordt onderwezen, in feite een amalgaam van frequentistisch en waarschijnlijkheidsdenken.

Voor een dieper inzicht is Edwards ' Likelihood een goed begin en historische referentie. Voor een moderne kijk zou ik de prachtige monografie van Richard Royall, Statistical Evidence: A Likelihood Paradigm, aanbevelen.

Answer 5

view on stackexchange narkive permalink

Laat me, gezien alle fijne technische antwoorden hierboven, teruggaan naar de taal: waarschijnlijkheid kwantificeert anticipatie (van uitkomst), waarschijnlijkheid kwantificeert vertrouwen (in model).

Stel dat iemand ons uitdaagt tot een 'winstgevende gokspel '. Dan zullen kansen ons helpen om zaken te berekenen als het verwachte profiel van uw winsten en verliezen (gemiddelde, modus, mediaan, variantie, informatieverhouding, risicovolle waarde, ruïnering van gokkers, enzovoort). Daarentegen zal de waarschijnlijkheid ons helpen om te kwantificeren of we die waarschijnlijkheden überhaupt vertrouwen; of dat we 'een rat ruiken'.

---

Overigens - aangezien iemand hierboven de religies van de statistiek noemde - denk ik dat de waarschijnlijkheidsratio een integraal onderdeel is van de Bayesiaanse wereld en van de frequentist één: in de Bayesiaanse wereld combineert de Bayes-formule alleen prior met waarschijnlijkheid om posterieur te produceren.

Answer 6

view on stackexchange narkive permalink

Stel dat u een munt heeft met een kans $ p $ om hoofden te landen en $ (1-p) $ span> om staarten te landen. Laat $ x = 1 $ koppen aangeven en $ x = 0 $ staarten aangeven. Definieer $ f $ als volgt

$$ f (x, p) = p ^ x ( 1-p) ^ {1-x} $$

$ f (x, 2/3) $ is de kans op x gegeven $ p = 2/3 $ , $ f (1, p) $ is waarschijnlijkheid van $ p $ gegeven $ x = 1 $ . In wezen vertelt waarschijnlijkheid versus waarschijnlijkheid u welke parameter van dichtheid wordt beschouwd als de variabele.

Answer 7

view on stackexchange narkive permalink

Als ik een eerlijke munt (parameterwaarde) heb, dan is de kans dat deze op de kop komt 0,5. Als ik een munt 100 keer omdraai en hij komt 52 keer boven, dan is de kans groot dat hij eerlijk is (de numerieke waarde van de waarschijnlijkheid neemt mogelijk een aantal vormen aan).

Answer 8

view on stackexchange narkive permalink

$ P (x | \ theta) $ kan vanuit twee gezichtspunten worden gezien:

• Als een functie van $ x $, behandelt $ \ theta $ als bekend / waargenomen. Als $ \ theta $ geen willekeurige variabele is, wordt $ P (x | \ theta) $ de ( geparametriseerde ) kans van $ x $ genoemd, gegeven de modelparameters $ \ theta $, dat soms ook wordt geschreven als $ P (x; \ theta) $ of $ P _ {\ theta} (x) $. Als $ \ theta $ een willekeurige variabele is, zoals in Bayesiaanse statistieken, dan is $ P ( x | \ theta) $ is een voorwaardelijke kans, gedefinieerd als $ {P (x \ cap \ theta)} / {P (\ theta)} $.
• Als een functie van $ \ theta $, $ x $ behandelen zoals waargenomen. Bijvoorbeeld, wanneer u een bepaalde toewijzing $ \ hat \ theta $ voor $ \ theta $ probeert te vinden die $ P (x | \ theta) $, dan heet $ P (x | \ hat \ theta) $ de maximale waarschijnlijkheid van $ \ theta $ gegeven de gegevens $ x $, soms geschreven als $ \ mathcal L (\ hoed \ theta | x) $. Dus de term waarschijnlijkheid is slechts een afkorting om te verwijzen naar de waarschijnlijkheid $ P (x | \ theta) $ voor sommige gegevens $ x $ die het resultaat zijn van het toewijzen van verschillende waarden aan $ \ theta $ (bijv. Als men door de zoekruimte $ \ theta $ voor een goede oplossing). Het wordt dus vaak gebruikt als een objectieve functie, maar ook als een prestatiemaatstaf om twee modellen te vergelijken, zoals in Bayesiaanse modelvergelijking.

Vaak is deze uitdrukking nog steeds een functie van beide argumenten, dus het is eerder een kwestie van nadruk.

Answer 9

view on stackexchange narkive permalink

ken je de piloot van de tv-serie "num3ers" waarin de FBI de thuisbasis probeert te vinden van een seriemisdadiger die zijn slachtoffers willekeurig lijkt te kiezen?

De wiskundige adviseur van de FBI en de broer van de verantwoordelijke agent lossen het probleem op met een maximale waarschijnlijkheidsbenadering. Ten eerste gaat hij ervan uit dat de misdaden plaatsvinden op locaties een "gugelhupf-vormige" probability $ p (x | \ theta) $ $ x $ als de crimineel op locatie $ \ theta $ woont. (de gugelhupf-aanname is dat de crimineel geen misdaad zal begaan in zijn directe omgeving, noch extreem ver zal reizen om zijn volgende willekeurige slachtoffer te kiezen.) dit model beschrijft de probabilities voor verschillende $ x $ gegeven een vaste $ \ theta $ . met andere woorden, $ p _ {\ theta} (x) = p (x | \ theta) $ is een functie van $ x $ met een vaste parameter $ \ theta $ .

natuurlijk kent de FBI de woonplaats van de crimineel niet, noch wil ze de volgende plaats delict voorspellen. (ze hopen eerst de crimineel te vinden!) het is andersom, de FBI kent de plaats delict al $ x $ en wil de domicilie van de crimineel vinden $ \ theta $ .

dus de briljante broer van de FBI-agent moet proberen de meest likely $ \ theta $ van alle mogelijke waarden te vinden, dwz de $ \ theta $ die $ p (x | \ theta) $ maximaliseert voor de werkelijk waargenomen $ x $ . daarom beschouwt hij nu $ l_x (\ theta) = p (x | \ theta) $ als een functie van $ \ theta $ met een vaste parameter $ x $ . figuurlijk gesproken schuift hij zijn bugel op de kaart totdat deze optimaal "past" bij de bekende plaats delict $ x $ . de FBI klopt dan op de deur in het midden $ \ hat {\ theta} $ van de gugelhupf.

om deze verandering van perspectief te benadrukken, wordt $ l_x (\ theta) $ de likelihood (functie) van $ genoemd \ theta $ , terwijl $ p _ {\ theta} (x) $ de probability (functie) was van $ x $ . beide zijn eigenlijk dezelfde functie $ p (x | \ theta) $ maar gezien vanuit verschillende perspectieven en met $ x $ en $ \ theta $ wisselen van rol als respectievelijk variabele en parameter.

Answer 10

view on stackexchange narkive permalink

Wat mij betreft is het belangrijkste onderscheid dat waarschijnlijkheid geen kans is (van $ \ theta $).

Bij een schattingsprobleem wordt de X gegeven en de waarschijnlijkheid $ P (X | \ theta) $ beschrijft een distributie van X in plaats van $ \ theta $.Dat wil zeggen, $ \ int P (X | \ theta) d \ theta $ heeft geen betekenis, aangezien waarschijnlijkheid geen pdf is van $ \ theta $, hoewel het tot op zekere hoogte $ \ theta $ karakteriseert.

Answer 11

view on stackexchange narkive permalink

Als we de voorwaardelijke kansinterpretatie terzijde schuiven, kun je het als volgt denken:

• In kans wil je meestal de kans op een mogelijke gebeurtenis vinden op basis van een model / parameter / kansverdeling, etc.

• In waarschijnlijkheid heb je een resultaat waargenomen, dus je wilt de meest waarschijnlijke bron / model / parameter / kansverdeling vinden / maken / schatten van waaruitdeze gebeurtenis is opgeworpen.