Traditioneel wordt statistische inferentie onderwezen in de context van kanssteekproeven en de aard van steekproeffout. Dit model vormt de basis voor de significantietoets. Er zijn echter andere manieren om systematische afwijkingen aan het toeval te modelleren en het blijkt dat onze parametrische (steekproefgebaseerde) tests doorgaans een goede benadering zijn van deze alternatieven.
Parametrische tests van hypothesen zijn gebaseerd op steekproeftheorie om schattingen van waarschijnlijke fouten te produceren. Als een steekproef van een bepaalde grootte uit een populatie wordt genomen, maakt kennis van de systematische aard van steekproeven testen en betrouwbaarheidsintervallen zinvol. Bij een populatie is de steekproeftheorie gewoon niet relevant en zijn tests niet zinvol in de traditionele zin. Inferentie is nutteloos, er valt niets af te leiden, er is gewoon het ding ... de parameter zelf.
Sommigen omzeilen dit door een beroep te doen op superpopulaties die de huidige volkstelling vertegenwoordigt. Ik vind deze oproepen niet overtuigend - parametrische tests zijn gebaseerd op kanssteekproeven en de kenmerken ervan. Een populatie op een bepaald moment kan een steekproef zijn van een grotere populatie in tijd en plaats. Ik zie echter geen enkele manier waarop men legitiem zou kunnen beweren dat dit een willekeurige (of meer in het algemeen enige vorm van een waarschijnlijkheids) steekproef is. Zonder een waarschijnlijkheidssteekproef zijn de steekproeftheorie en de traditionele logica van testen gewoonweg niet van toepassing. U kunt net zo goed testen op basis van een gemakssteekproef.
Het is duidelijk dat we, om testen te accepteren wanneer we een populatie gebruiken, de basis van die testen moeten achterwege laten bij steekproefprocedures. Een manier om dit te doen is door het nauwe verband te herkennen tussen onze steekproeftheoretische tests - zoals t, Z en F - en randomisatieprocedures. Randomisatietests zijn gebaseerd op de beschikbare steekproef. Als ik verzamel
gegevens over het inkomen van mannen en vrouwen, het waarschijnlijkheidsmodel en de basis voor onze foutenschattingen zijn herhaalde willekeurige toewijzingen van de werkelijke gegevenswaarden. Ik kon waargenomen verschillen tussen groepen vergelijken met een verdeling op basis van deze randomisatie. (We doen dit trouwens de hele tijd in experimenten, waarbij de willekeurige steekproef uit een populatiemodel zelden geschikt is).
Nu blijkt dat steekproeftheoretische tests vaak goede benaderingen zijn van randomisatie testen. Dus uiteindelijk denk ik dat tests van populaties nuttig en zinvol zijn binnen dit raamwerk en kunnen helpen om systematische en toevallige variatie te onderscheiden - net als bij steekproefgebaseerde tests. De logica die wordt gebruikt om daar te komen, is een beetje anders, maar heeft niet veel invloed op de praktische betekenis en het gebruik van tests. Het kan natuurlijk beter zijn om gewoon direct randomisatie- en permutatietests te gebruiken, aangezien ze gemakkelijk beschikbaar zijn met al onze moderne rekenkracht.