Convergentie in waarschijnlijkheid versus vrijwel zekere convergentie

Question

view on stackexchange narkive permalink

Ik heb het verschil tussen deze twee maten van convergentie nooit echt begrepen. (Of in feite een van de verschillende soorten convergentie, maar ik noem deze twee in het bijzonder vanwege de zwakke en sterke wetten van grote aantallen.)

Natuurlijk kan ik de definitie van elk en geef een voorbeeld waar ze verschillen, maar ik snap het nog steeds niet helemaal.

Wat is een goede manier om het verschil te begrijpen? Waarom is het verschil belangrijk? Is er een bijzonder gedenkwaardig voorbeeld waarin ze verschillen?

Answer 1

view on stackexchange narkive permalink

Naar mijn mening is het verschil belangrijk, maar grotendeels om filosofische redenen. Stel dat je een apparaat hebt dat met de tijd verbetert. Dus elke keer dat u het apparaat gebruikt, is de kans dat het defect raakt kleiner dan voorheen.

Convergentie in waarschijnlijkheid zegt dat de kans op mislukking naar nul gaat naarmate het aantal gebruiksmogelijkheden naar oneindig gaat. Dus nadat u het apparaat een groot aantal keren hebt gebruikt, kunt u er zeker van zijn dat het correct werkt, het kan nog steeds mislukken, het is gewoon zeer onwaarschijnlijk.

Convergentie is vrijwel zeker een beetje sterker. Er staat dat het totale aantal mislukkingen eindig is. Dat wil zeggen, als u het aantal mislukkingen telt terwijl het aantal gebruiksmogelijkheden naar oneindig gaat, krijgt u een eindig aantal. De impact hiervan is als volgt: naarmate u het apparaat steeds vaker gebruikt, zult u, na een bepaald aantal keren gebruik, alle storingen uitputten. Vanaf dat moment werkt het apparaat perfect .

Zoals Srikant opmerkt, weet je eigenlijk niet wanneer je alle mislukkingen hebt uitgeput, dus vanuit een puur praktisch oogpunt is er niet veel verschil tussen de twee manieren van convergentie.

Persoonlijk ben ik echter erg blij dat er bijvoorbeeld de sterke wet van grote getallen bestaat, in tegenstelling tot alleen de zwakke wet. Omdat nu een wetenschappelijk experiment om bijvoorbeeld de lichtsnelheid te verkrijgen, gerechtvaardigd is om gemiddelden te nemen. In theorie kun je, nadat je voldoende gegevens hebt verzameld, willekeurig dicht bij de werkelijke lichtsnelheid komen. Er zullen geen fouten zijn (hoe onwaarschijnlijk ook) in het middelingsproces.

Laat me duidelijk maken wat ik bedoel met '' mislukkingen (hoe onwaarschijnlijk ook) in het middelingsproces ''. Kies een willekeurige $ \ delta> 0 $ willekeurig klein. Je krijgt $ n $ schattingen $ X_1, X_2, \ dots, X_n $ van de lichtsnelheid (of een andere hoeveelheid) die een 'ware' waarde heeft, zeg $ \ mu $. U berekent het gemiddelde $$ S_n = \ frac {1} {n} \ sum_ {k = 1} ^ n X_k. $$ Naarmate we meer gegevens verkrijgen ($ n $ toenames), kunnen we $ S_n $ berekenen voor elke $ n = 1,2, \ dots $. De zwakke wet zegt (onder sommige aannames over de $ X_n $) dat de waarschijnlijkheid $$ P (| S_n - \ mu |> \ delta) \ rightarrow 0 $$ als $ n $ naar $ \ infty $ gaat. De sterke wet zegt dat het aantal keren dat $ | S_n - \ mu | $ groter is dan $ \ delta $ eindig is (met kans 1). Dat wil zeggen, als we de indicatorfunctie $ I (| S_n - \ mu |> \ delta) $ definiëren die er een retourneert wanneer $ | S_n - \ mu | > \ delta $ en nul anders, dan convergeert $$ \ sum_ {n = 1} ^ {\ infty} I (| S_n - \ mu |> \ delta) $$. Dit geeft u een aanzienlijk vertrouwen in de waarde van $ S_n $, omdat het het bestaan ​​van een eindige $ n_0 $ garandeert (d.w.z. met waarschijnlijkheid 1) zodat $ | S_n - \ mu | < \ delta $ voor alle $ n> n_0 $ (d.w.z. het gemiddelde faalt nooit voor $ n> n_0 $). Merk op dat de zwakke wet een dergelijke garantie niet geeft.

Answer 2

view on stackexchange narkive permalink

Ik weet dat deze vraag al is beantwoord (en redelijk goed, naar mijn mening), maar er was hier een andere vraag met een opmerking @NRH waarin de grafische uitleg werd genoemd, en in plaats van plaats de afbeeldingen daar, het lijkt passender om ze hier te plaatsen.

Dus, hier gaat het. Het is niet zo cool als een R-pakket. Maar het is op zichzelf staand en vereist geen abonnement op JSTOR.

In het volgende hebben we het over een eenvoudige willekeurige wandeling, $ X_ {i} = \ pm 1 $ met dezelfde waarschijnlijkheid, en we berekenen lopende gemiddelden, $$ \ frac {S_ {n}} {n} = \ frac {1} {n} \ sum_ {i = 1} ^ {n} X_ {i}, \ quad n = 1, 2, \ ldots. $$

De SLLN (convergentie vrijwel zeker) zegt dat we 100% zeker kunnen zijn dat deze kromme naar rechts zal uiteindelijk, op een bepaald moment, voor altijd daarna volledig binnen de banden vallen (naar rechts).

De R-code die wordt gebruikt om deze grafiek te genereren staat hieronder (plotlabels zijn weggelaten voor beknoptheid).

  n <- 1000; m <- 50; e <- 0,05s <- cumsum (2 * (rbinom (n, size = 1, prob = 0,5) - 0,5)) plot (s / seq.int (n), type = "l", ylim = c (- 0.4, 0.4)) abline (h = c (-e, e), lty = 2)  

---

De WLLN (convergentie in waarschijnlijkheid) zegt dat een groot deel van de voorbeeldpaden zich in de banden aan de rechterkant bevindt, op het moment $ n $ (voor het bovenstaande lijkt het ongeveer 48 of 9 van de 50). We kunnen er nooit zeker van zijn dat een specifieke curve op een eindige tijd binnen zal zijn, maar kijken naar de massa noedels erboven zou een redelijk veilige gok zijn. De WLLN zegt ook dat we het aandeel noedels binnenin zo dicht mogelijk bij 1 kunnen maken als we willen door de plot voldoende breed te maken.

De R-code voor de grafiek volgt (nogmaals, labels overslaan).

  x <- matrix (2 * (rbinom (n * m, size = 1, prob = 0,5) - 0,5), ncol = m) y <- toepassen (x, 2, functie (z ) cumsum (z) / seq_along (z)) matplot (y, type = "l", ylim = c (-0.4,0.4)) abline (h = c (-e, e), lty = 2, lwd = 2 )
 

Answer 3

view on stackexchange narkive permalink

Ik begrijp het als volgt:

Convergentie in waarschijnlijkheid

De kans dat de reeks willekeurige variabelen gelijk is aan de doelwaarde neemt asymptotisch af en benadert 0 maar bereikt nooit 0.

Bijna zeker convergentie

De reeks willekeurige variabelen zal asymptotisch gelijk zijn aan de doelwaarde, maar je kunt niet voorspellen op welk punt het zal gebeuren.

Bijna zeker is convergentie een sterkere voorwaarde voor het gedrag van een reeks willekeurige variabelen omdat het stelt dat "er zeker iets zal gebeuren" (we weten gewoon niet wanneer). Daarentegen stelt convergentie in waarschijnlijkheid dat "hoewel er iets waarschijnlijk zal gebeuren" de waarschijnlijkheid dat "iets niet gebeurt" asymptotisch afneemt, maar nooit daadwerkelijk 0 bereikt. (Iets $ \ equiv $ een reeks willekeurige variabelen die convergeren naar een bepaalde waarde).

De wiki bevat enkele voorbeelden van beide die het bovenstaande zouden moeten helpen verduidelijken (zie in het bijzonder het voorbeeld van de boogschutter in de context van convergentie in probleemsituaties en het voorbeeld van de liefdadigheidsinstelling in de context van bijna zekere convergentie).

Vanuit praktisch oogpunt is convergentie in waarschijnlijkheid voldoende, aangezien we ons niet bepaald bekommeren om zeer onwaarschijnlijke gebeurtenissen. Consistentie van een schatter is bijvoorbeeld in wezen convergentie in waarschijnlijkheid. Wanneer we een consistente schatting gebruiken, erkennen we dus impliciet het feit dat er in grote steekproeven een zeer kleine kans is dat onze schatting verre van de werkelijke waarde is. We leven met dit 'defect' van convergentie in waarschijnlijkheid, omdat we weten dat asymptotisch de kans dat de schatter ver van de waarheid verwijderd is, aan het verdwijnen klein is.

Answer 4

view on stackexchange narkive permalink

Als je van visuele uitleg houdt, was er een leuk 'Teacher's Corner'-artikel over dit onderwerp in de American Statistician (citeer hieronder). Als bonus hebben de auteurs een R-pakket meegeleverd om het leren te vergemakkelijken.

  @article {lafaye09, title = {Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation -Based Approach}, auteur = {Lafaye de Micheaux, P. en Liquet, B.}, tijdschrift = {The American Statistician}, volume = {63}, aantal = {2}, pagina's = {173--178}, year = {2009}, publisher = {ASA}}  

Answer 5

view on stackexchange narkive permalink

Deze laatste legt het heel goed uit. Als je een reeks willekeurige variabelen Xn = 1 neemt met kans 1 / n en anders nul. Het is gemakkelijk in te zien dat het nemen van limieten dat dit in waarschijnlijkheid naar nul convergeert, maar bijna zeker niet convergeert. Zoals hij zei, het kan de waarschijnlijkheid niet schelen dat we er misschien een krijgen. Bijna zeker.

Bijna zeker impliceert convergentie in waarschijnlijkheid, maar niet andersom yah?

Answer 6

view on stackexchange narkive permalink

Een ding dat me heeft geholpen het verschil te begrijpen, is de volgende gelijkwaardigheid

$ P ({\ lim_ {n \ to \ infty} | X_n-X | = 0}) = 1 \ Leftarrow \ Rightarrow \ lim_ {n \ to \ infty} ({\ sup_ {m> = n} |X_m-X | > \ epsilon}) = 0 $ $ \ forall \ epsilon > 0 $

In vergelijking met stochastische convergentie:

$ \ lim_ {n \ to \ infty} P (| X_n-X | > \ epsilon) = 0 $ $ \ forall \ epsilon >0 $

Als ik de rechterkant van het bovenste equivalent vergelijkt met de stochastische convergentie, wordt het verschil duidelijker denk ik.