Question:
Si une statistique ne révèle pas de signification, dois-je en calculer la puissance?
stan
2011-06-20 12:06:07 UTC
view on stackexchange narkive permalink

En suivant la conception et les données décrites dans cette question, j'ai effectué une simple ANOVA à mesures répétées intra-sujets (RM) et trouvé des valeurs p significatives. J'ai ensuite appliqué les tests HSD post-hoc non orthogonaux de Tukey, et lorsque j'ai obtenu des résultats significatifs, j'ai appliqué la correction de Holm-Bonferroni (1979). Chaque fois que des valeurs p ont survécu à la correction FWER, j'ai calculé les IC à 95% et la moyenne des comparaisons par paires associées.

Ma question est la suivante: si je n'observe pas de résultat significatif à l'une des étapes ci-dessus, dois-je effectuer une analyse de puissance pour l'ANOVA RM, appliquer les ajustements test HSD de Tukey ou Holm-Bonferroni, ou dois-je simplement rapporter les résultats de l'ANOVA RM sans faire l'analyse de puissance?

Le problème est que je ne commence à m'immerger dans la biostatistique qu'après mes expériences, et malheureusement je n'ai pas effectué d'analyse de puissance au préalable.

J'ai essayé de reformuler votre question et de fournir un titre plus illustratif. Veuillez vérifier que je n'ai pas modifié sa signification originale.
Merci @chl pour l'édition :). mais dans la partie * «J'ai calculé les IC à 95% et la moyenne des comparaisons par paires associées» * J'ai fait l'IC à 95% et la moyenne pour chaque groupe comparé. Mais je me suis souvenu que la différence entre les moyennes des groupes dépendants comparés et l'IC à 95% de la différence est appropriée. Alors tu as raison! Mais comment le calculer en R?
@chl J'ai changé le titre ... Probablement c'est OK ...
Quatre réponses:
Freya Harrison
2011-06-20 17:02:54 UTC
view on stackexchange narkive permalink

Le point de vue absolu sur le calcul de puissance post-hoc est: ne le faites pas car c'est inutile. Russ Lenth de l'Université de l'Iowa a publié un article sur ce sujet ici (il a également une applet Java amusante et facétieuse pour l'alimentation post-hoc sur son site Web).

D'autres discussions et références peuvent également être trouvées à la page 2 de l'article décrivant G * Power3: http://www.psycho.uni-duesseldorf.de/abteilungen/aap/gpower3/download-and-register/Dokumente/GPower3- BRM-Paper.pdf (pdf)
@Freua: Nous postons des hocs pour vérifier la signification après une réponse positive à l'ANOVA, n'est-ce pas? J'ai également examiné un [article] (http://beheco.oxfordjournals.org/content/14/3/446.full) de N.Colegrave & G.D.Ruxton. En tant que débutant, je peux dire qu'il existe de nombreux "mais" :). Finalement, nous pouvons spéculer sur les (non) paramétriques
Aaron left Stack Overflow
2011-06-21 06:26:34 UTC
view on stackexchange narkive permalink

En passant, Tukey ne dépend pas du fait que les résultats de l'ANOVA soient significatifs; vous pouvez avoir des différences par paires significatives même lorsque l'ANOVA globale n'est pas significative.

C'est-à-dire que si vous allez faire des comparaisons par paires corrigées de Tukey, ne vous souciez pas de vérifier d'abord la signification globale . Si vous n'exécutez les comparaisons Tukey qu'après avoir obtenu une valeur p globale significative, vous sur-corrigez.

(Je suis convaincu que c'est vrai avec une ANOVA régulière; il est possible qu'avec des mesures répétées ou non -orthogonalité, quelque chose d'autre se produit; quelqu'un souhaite intervenir?)

Enfin, pour être d'accord avec Freya mais pour fournir un peu plus de conseils, au lieu d'un test de puissance post-hoc, une chose plus raisonnable à signaler serait être les intervalles de confiance; ils montrent exactement l'ampleur de la différence que votre expérience aurait pu détecter, ce qui correspond généralement à ce que recherchent les gens lorsqu'ils veulent de toute façon un test de puissance post-hoc.

Merci pour votre réponse. C'est quelque chose qui m'intéresse, car certains manuels disent que les comparaisons Tukey HSD ne devraient pas être faites si le test global n'est pas significatif. J'ai fait quelques simulations qui ont montré que les intervalles de confiance Tukey HSD ont la bonne couverture quelle que soit l'importance du test global, donc je ne comprends pas très bien la recommandation de ne les utiliser que si le test global est significatif. Je serai intéressé d'entendre d'autres opinions.
certainement avec vous pour la déclaration des CI. L'article de Colegrave & Ruxton cité par @stan a une belle explication à ce sujet, que je vais citer: "Ce qui nous intéresse, c'est la description des tailles d'effet possibles qui sont soutenues par les données dont nous disposons, et l'effet possible tailles qui ne sont pas prises en charge. [...] Si le test n'était pas significatif, alors l'intervalle de confiance pour la taille de l'effet s'étendra sur zéro. Cependant, la largeur de cet intervalle de confiance donne une indication de la probabilité que la taille réelle de l'effet soit nulle. "
Susie
2012-05-26 09:48:20 UTC
view on stackexchange narkive permalink

La plupart des manuels affirment qu'il est juste de faire un post hoc comme celui de Tukey uniquement avec un f significatif. Si vous choisissez la comparaison planifiée basée sur la théorie, un F non significatif conviendrait ... Le test de Tukey est un test assez conservateur qui ne montrera généralement pas de signification si f n'est pas significatif. Quelle valeur utilisez-vous pour le carré moyen dans le calcul de Tukey? Les intervalles de confiance sont également censés utiliser un carré moyen avec des estimations de variance plutôt que séparées.

Merci pour votre réponse. Excusez-moi, je ne suis pas sûr d'avoir compris la question ... J'utilise SAS avec les paramètres par défaut, y compris pour le carré moyen ... Y a-t-il des avancées au-delà du HSD de Tukey?
RioRaider
2012-08-01 06:27:46 UTC
view on stackexchange narkive permalink

Une autre bonne discussion sur les pièges de l'estimation de puissance post-hoc se trouve dans:

Gerard, P. D., D. R. Smith et G. Weerakkody. 1998. Limites de l'analyse rétrospective du pouvoir. Journal of Wildlife Management 62: 801-807 [ lien].



ⓘ
Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...