לאחרונה שאלתי שאלה בנוגע לעקרונות כלליים בנושא סקירת נתונים סטטיסטיים במאמרים. מה שהייתי רוצה לשאול עכשיו, זה מה שמרגיז אותך במיוחד בעת סקירת מאמר, כלומר מהי הדרך הטובה ביותר לעצבן שופט סטטיסטי באמת!
דוגמא אחת לתשובה, בבקשה.
לאחרונה שאלתי שאלה בנוגע לעקרונות כלליים בנושא סקירת נתונים סטטיסטיים במאמרים. מה שהייתי רוצה לשאול עכשיו, זה מה שמרגיז אותך במיוחד בעת סקירת מאמר, כלומר מהי הדרך הטובה ביותר לעצבן שופט סטטיסטי באמת!
דוגמא אחת לתשובה, בבקשה.
מה שמרגיז במיוחד את אותי באופן אישי הוא אנשים שהשתמשו בבירור בחבילות שנכתבו על ידי משתמשים לתוכנות סטטיסטיות אך אינם מצטטים אותן כראוי, או בכלל, ובכך לא נותנים שום אשראי למחברים. פעולה זו חשובה במיוחד כאשר הכותבים נמצאים באקדמיה ועבודתם תלויה בפרסום מאמרים שמצטטים . (אולי עלי להוסיף שבתחומי, רבים מהאשמים אינם סטטיסטיקאים.)
אלוהים לי, כל כך הרבה דברים עולים בראש ...
רגרסיה בשלבים
מתן ערכי p אך אין מידה של גודל ההשפעה
תיאור נתונים תוך שימוש בממוצע ובסטיית התקן מבלי לציין אם הנתונים הם סימטריים פחות או פחות לא מודלים
דמויות ללא כיתובים ברורים (האם זה שגיאות המוטעות שגיאות תקן של הממוצע, או סטיות תקן בתוך קבוצות, או מה?)
אירן סטרטון והקולגה פרסמו מאמר קצר על שאלה הדוקה:
Stratton IM, Neil A. כיצד להבטיח שמאמרך נדחה על ידי הסוקר הסטטיסטי. רפואה לסוכרת 2005; 22 (4): 371-373.
הקוד שאינו משמש להפקת התוצאות המדומות אינו מסופק. לאחר שביקש את הקוד, הוא דורש עבודה נוספת בכדי להריץ אותו על מערך נתונים שנוצר על ידי שופט.
פלגיאט (תיאורטי או מתודולוגי). הסקירה הראשונה שלי אכן נכתבה עבור מאמר המגלה העתק / הדבקה רבים ללא הפניה ממאמר מתודולוגי מבוסס היטב שפורסם לפני 10 שנים.
רק מצאתי כמה מאמרים מעניינים בנושא זה: מחבר ופלגיאט במדע.
באותו אופן, אני מוצא ש זיוף (של נתונים או תוצאות) הגרוע מכולם.
כשאנחנו מבקשים מהמחברים
ושמחברים לא ממש עונים במקרה (1) או שהתוצאות המפלילות מביאות ל 2) נעלמים מהטרשת הנפוצה.
ערכי p ו- גודל האפקט מבלבלים (כלומר שההשפעה שלי גדולה כי יש לי ערך p ממש זעיר).
שונה במקצת מ התשובה של סטפן של אי הכללת האפקט גדלים אך נותנים ערכי p. אני מסכים שאתה צריך לתת את שניהם (ואני מקווה להבין את ההבדל!)
לא כולל גדלי אפקטים.
P- בכל רחבי המחקר (אני חייב לזכות את הפרופסור האהוב עלי בבית הספר לכיתה עבור אותה שורה).
מתן מספר מופרז של ספרות (גברים עלו 3.102019 קילו יותר מנקבות)
לא כולל מספרי עמודים (מה שמקשה על הסקירה)
מספרים וטבלאות שגויים
(כאמור - צעד אחר צעד וסיווג משתנים רציפים)
כאשר הם לא מסבירים מספיק את הניתוח שלהם ו / או כוללים שגיאות פשוטות שמקשות על העבודה מה באמת נעשה. לרוב זה כולל השלכת ז'רגון רב, בדרך של הסבר, שהוא דו משמעי יותר מכפי שנראה שהמחבר מבין וייתכן שהוא מנוצל לרעה.
שימוש בשפה סיבתית לתיאור אסוציאציות בנתוני תצפית כאשר משתנים שהושמטו הוא כמעט ודאי דאגה רצינית.
לבוא עם מילים חדשות עבור המושגים הקיימים, או להיפך, באמצעות המונחים הקיימים כדי לציין משהו אחר.
חלק מהפרשי המינוח הקיימים התיישבו זה מכבר בספרות: נתונים אורכיים בביוסטטיסטיקה לעומת נתוני פאנל באקונומטריה; מדדי סיבה ותוצאה בסוציולוגיה לעומת אינדיקטורים מעצבים ומשקפים בפסיכולוגיה; וכו 'אני עדיין שונא אותם, אבל לפחות אתה יכול למצוא כמה אלפי אזכורים לכל אחד מהם בספרות שלהם. האחרון הוא כל חוט העבודה הזה על גרפים אסיקליים מכוונים בספרות סיבתית: רוב, אם לא כל, תיאוריית הזיהוי וההערכה הללו פותחה על ידי האקונומטריסטים בשנות החמישים בשם משוואות בו זמנית. p>
המונח בעל משמעות כפולה, אם לא משולשת, הוא "חזק", והמשמעויות השונות לרוב סותרות. שגיאות תקן "חזקות" אינן חזקות עבור חריגים רחוקים; יתר על כן, הם אינם חסינים כנגד שום דבר פרט לסטייה המשוערת מהמודל, ולעתים קרובות הם בעלי ביצועי מדגם קטנים עגומים. השגיאות הסטנדרטיות של ווייט אינן חסינות כנגד מתאמים סדרתיים או אשכוליים; שגיאות תקן "חזקות" ב- SEM אינן חזקות כנגד מפרט שגוי של מבנה המודל (נתיבים או משתנים שהושמטו). בדיוק כמו עם הרעיון של בדיקת משמעות ההשערה האפסית, אי אפשר להפנות אצבע לאף אחד ולומר: "אתה אחראי לבלבל כמה דורות של חוקרים שטבעו את המושג הזה שלא באמת עומד בשמו". p>
כאשר מחברים משתמשים במבחן הסטטיסטי היחיד שהם מכירים (בתחום שלי, בדרך כלל מבחן t או ANOVA), ad infinitum, ללא קשר לשאלה האם זה מתאים. לאחרונה סקרתי מאמר שבו הכותבים רצו להשוות בין תריסר קבוצות טיפול שונות, ולכן הם ערכו בדיקת דו-מדגמית לכל זוג טיפולים אפשרי ...
אפס שיקול של נתונים חסרים.
יישומים מעשיים רבים משתמשים בנתונים שיש להם לפחות כמה ערכים חסרים. זה בהחלט נכון מאוד באפידמיולוגיה. נתונים חסרים מציגים בעיות עבור שיטות סטטיסטיות רבות - כולל מודלים לינאריים. נתונים חסרים עם מודלים לינאריים מטופלים לעתים קרובות באמצעות מחיקת מקרים עם נתונים חסרים על משתנים כלשהם. זוהי בעיה, אלא אם כן חסרים נתונים מתוך הנחה כי נתונים חסרים לחלוטין באופן אקראי (MCAR).
אולי לפני 10 שנים, היה זה סביר לפרסם תוצאות ממודלים לינאריים ללא התחשבות נוספת בחסר. אני בהחלט אשם בזה. עם זאת, עצות טובות מאוד כיצד להתמודד עם נתונים חסרים עם זקיפה מרובה זמינה כעת באופן נרחב, כמו גם חבילות סטטיסטיות / מודלים / ספריות / וכו '. כדי להקל על ניתוחים מתאימים יותר בהנחות סבירות יותר כאשר קיים חסר.
דיווח על השפעות ש"התקרבו למשמעות (עמ '< .10 למשל) ואז כתבו עליהן כאילו קיבלו משמעות ברמה מחמירה ומקובלת יותר. הפעלת מודלים של משוואות מבניות מרובות שלא היו מקוננות ואז כתבו עליהן כאילו הם מקוננים. לנקוט באסטרטגיה אנליטית מבוססת ולהציג אותה כאילו איש מעולם לא העלה על דעתה להשתמש בה לפני כן. אולי זה יכול להיחשב כפלגיאט עד תואר.
אני ממליץ על שני המאמרים הבאים:
מרטין בלנד:
כיצד להרגיז את השופט הסטטיסטי
זה מבוסס על סדרת שיחות שניתנו מאת מרטין בלנד, יחד עם נתונים משופטים סטטיסטיים אחרים ('מדגם נוחות עם אחוז תגובה נמוך'). זה מסתיים ברשימת 11 נקודות של '[h] ow כדי להימנע מהפרת השופט הסטטיסטי'.
סטיאן ליודרסן:
סקירה סטטיסטית: הערות שניתנות לעתים קרובות לעשות כראוי את הניתוח / דיווח. רשימת הפניות המצוטטת היא אוצר של ניירות מעניינים.
אני מוטרד ביותר (ולעתים קרובות) מ"אימות "שמטרתו שגיאת הכללה של מודלים מנבאים כאשר נתוני הבדיקה אינם עצמאיים (למשל, בדרך כלל מדידות מרובות למטופל בנתונים, מחוץ לאתחול או אימות צולב פיצול מדידות לא חולים ).
עוד יותר מעצבן, מאמרים הנותנים תוצאות אימות צולבות כל כך פגומות וכן ערכת בדיקות עצמאית המדגימה את ההטיה האופטימית של אימות הצלב אך לא אחת מילה שתכנון אימות ההצלבה שגוי ...
(אני אשמח לחלוטין אם אותם נתונים יוצגו "אנו יודעים כי אימות הצלב צריך לפצל חולים, אבל אנחנו תקועים עם תוכנה שאינה מאפשרת זאת. לכן בדקנו מערכת עצמאית באמת של חולי בדיקה בנוסף ")
(אני גם מודע לכך ש- bootstrapping = דגימה מחדש עם החלפה בדרך כלל מתפקדת טוב יותר מאשר אימות צולב = דגימה מחדש ללא החלפה. עם זאת, מצאנו נתונים ספקטרוסקופיים (מדומה s פקטרה והתקנת מודל מעט מלאכותית אך ספקטרום אמיתי) שחזר / אישר את אימות הצלב ו מחוץ למתחול היה בעל אי ודאות כוללת דומה; ל- oob הייתה הטיה רבה יותר אך פחות שונות - להתאמה מחדש, אני מסתכל על זה מנקודת מבט פרגמטית מאוד: אימות חוזר חוזר לעומת רצועה מחוץ לאתחול לא משנה כל עוד הרבה מאמרים לא מפוצלים מבחינה מטופלת ולא מדווחים / דנים / להזכיר אי וודאות אקראית עקב גודל מדגם מוגבל של הבדיקה.)
מלבד הטעות, יש לכך גם תופעת לוואי שאנשים שעושים אימות נכון צריכים לעתים קרובות להגן על הסיבה שהתוצאות שלהם גרועות כל כך מכל אותם אחרים תוצאות בספרות.
שימוש ב"נתונים "במובן יחיד. נתונים הם, הם אף פעם לא.
מבחינתי הוא, ייחוס סיבה ללא ניתוח סיבתי ראוי או כשיש הסקה סיבתית לא תקינה.
אני גם שונא את זה כאשר נותנים אפס תשומת לב לאופן הטיפול בנתונים חסרים. אני רואה גם כל כך הרבה מאמרים שבהם המחברים פשוט מבצעים ניתוח מקרים מלא ואינם מזכירים האם התוצאות ניתנות להכללה לאוכלוסייה עם ערכים חסרים או כיצד האוכלוסייה עם ערכים חסרים עשויה להיות שונה באופן שיטתי מהאוכלוסייה עם נתונים מלאים.
שימוש ב- Microsoft Word במקום ב- LaTeX.