תוקף ממצאי הניסוי

‫תוקף ממצאי הניסוי‬
‫ניתן לשאול ארבע שאלות הנוגעות לטיב הניסוי ולטיב ממצאיו‪:‬‬
‫‪.1‬‬
‫האם הקשר הסטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬ברמה התצפיתית‪ ,‬הוא אכן מובהק‪ ,‬או‬
‫שהתקבל במקרה?‬
‫‪.2‬‬
‫האם הקשר הסטטיסטי בין המשתנים ברמה התצפיתית אכן מעיד על קשר סיבתי ברמה התצפיתית?‬
‫‪ .3‬האם הקשר שהתגלה ברמה התצפיתית מעיד על קשר בין המשתנה הבלתי תלוי למשתנה התלוי ברמה‬
‫התיאורטית?‬
‫‪.4‬‬
‫באיזו מידה ניתן להכליל את הקשר שנמצא במדגם לאוכלוסיות ולמצבים אחרים?‬
‫כל אחת מהשאלות מגדירה קריטריון לבחינת טיב הניסוי וממצאיו‪ ,‬כלומר‪ ,‬כל אחת מהשאלות מתייחסת להיבט‬
‫אחר של תוקף ממצאי הניסוי‪ :‬תוקף המסקנה הסטטיסטית נוגע לשאלה הראשונה‪ ,‬התוקף הפנימי לשנייה‪,‬‬
‫תוקף המבנה לשלישית והתוקף החיצוני לשאלה האחרונה‪ .‬ארבעת סוגי התוקף הם הקריטריונים להערכת‬
‫מחקר‪ ,‬והם מנחים את החוקר כבר בשלב תכנון המחקר‪.‬‬
‫תוקף המסקנה הסטטיסטית‬
‫תוקף המסקנה הסטטיסטית (‪ )conclusion validity‬מתייחס לשאלה‪ :‬האם הקשר הסטטיסטי שנמצא בין‬
‫המשתנים מובהק? האם סביר להניח כי קשר דומה לזה שנמצא בין המשתנים במדגם הספציפי קיים גם‬
‫באוכלוסייה‪ ,‬או שהקשר התקבל במקרה? לתוקף המסקנה הסטטיסטית חשיבות רבה משום שקשר סטטיסטי‬
‫מובהק הוא התנאי הראשון להסקה על קשר סיבתי בין משתנים‪.‬‬
‫קיימים שני סוגי טעויות הפוגעות בתוקף המסקנה הסטטיסטית‪:‬‬
‫טעות מסוג ראשון‪ ,‬טעות ‪( ‬אלפא) ‪ -‬הסיכוי לדחות את השערת האפס בטעות‪ ,‬כשלמעשה היא נכונה‪.‬‬
‫כלומר‪ ,‬הסיכוי למצוא במחקר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬שאינו קיים במציאות‪.‬‬
‫טעות מסוג שני‪ ,‬טעות ‪( ‬ביתא)‪ -‬הסיכוי לטעות ולא לדחות את השערת האפס‪ ,‬כשלמעשה היא איננה נכונה‬
‫ויש לדחות אותה‪ .‬כלומר‪ ,‬הסיכוי לא לאתר קשר סטטיסטי בין המשתנה התלוי והבלתי תלוי‪ ,‬למרות שקשר כזה‬
‫קיים במציאות‪.‬‬
‫איומים על תוקף המסקנה הסטטיסטית‬
‫איומים הקשורים לטעות אלפא‪ :‬החוקר מחליט מראש מהו גובה הסיכוי לטעות אלפא‪ ,‬ומבצע את הניתוחים‬
‫הסטטיסטיים תחת סיכוי זה‪ .‬לרוב מדובר בסיכוי קטן מחמישה אחוזים‪ .‬יש לציין‪ ,‬כי למרות שגובה הסיכוי‬
‫לטעות אלפא נקבע מראש ואמור להיות קבוע‪ .‬במערך עם יותר משתי קבוצות‪ ,‬עשוי להיווצר מצב של השוואות‬
‫מרובות בין הקבוצות‪ .‬ריבוי ההשוואות יוצר אפקט של ‪ - Fishing‬הגדלת הסיכוי לקבלת אפקט בשל מקריות‬
‫כתוצאה מעריכת השוואות מרובות בין הקבוצות‪ .‬מאחר וקיימות שיטות סטטיסטיות המאפשרות הימנעות‬
‫מריבוי השוואות‪ ,‬גם כשיש יותר משתי קבוצות‪ ,‬ניתן להתמודד עם איום זה על ידי בחירה בחישובים‬
‫הסטטיסטיים המתאימים למצב כזה‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫איומים הקשורים לטעות ביתא‬
‫אלפא‬
‫ככל שהחוקר קובע אלפא קטנה יותר הוא מגדיל את הערך הקריטי (מגדיל את היחס שיש למצוא בין השונות‬
‫הבין קבוצתית לבין השונות התוך קבוצתית על מנת למצוא אפקט) וכך קטנה עוצמת המבחן‪ .‬במצב זה גדל‬
‫הסיכוי לפספס אפקט אם קיים‪ ,‬כלומר‪ ,‬גובר הסיכוי לטעות ביתא‪ .‬ניתן להתמודד עם איום זה על ידי הגדלת‬
‫אלפא (עד גבול מסוים ‪ -‬הסיכון לטעות אלפא צריך להישאר קטן יחסית)‪ .‬בקביעת האלפא החוקר נדרש‬
‫להתחשב בשיקולים הקשורים לשני סוגי הטעויות שנדונו‪ :‬עליו להשתדל שהסיכוי שאפקט הקיים במציאות לא‬
‫יתגלה בניסוי‪ ,‬יישאר קטן‪ .‬יחד עם זאת‪ ,‬עליו להשתדל שהסיכוי שאפקט שהתגלה בניסוי במקרה ייחשב בטעות‬
‫כאפקט הקיים במציאות‪ ,‬לא יגדל‪.‬‬
‫סוג ההשערה (חד זנבית‪/‬דו זנבית)‬
‫השערה דו זנבית (כזו המניחה קיומו של אפקט‪ ,‬אך אינה מניחה את כיוונו‪ ,‬בשל חוסר בבסיס תיאורטי) מאלצת‬
‫שימוש באלפא קטנה יותר לכל צד (מאחר והסיכוי לטעות אלפא מתחלק לשניים)‪ .‬הקטנת אלפא מקטינה את‬
‫עוצמת המבחן ומגדילה את הסיכוי לטעות ביתא‪ .‬ניתן להתמודד עם איום זה על ידי הפיכת ההשערה לחד‬
‫זנבית (כזו המניחה כיוון לקיומו של האפקט)‪ ,‬אך צעד זה לגיטימי רק כאשר ישנו בסיס תיאורטי המצביע על‬
‫כיוון האפקט המשוער‪.‬‬
‫מרחק בין הממוצעים‬
‫כאשר המניפולציה לא מספיק חזקה‪ ,‬עוצמת הניסוי קטנה (ראה הרחבה בפרק על רגישות ועוצמת הניסוי)‬
‫והסיכוי לטעות ביתא גדל‪ .‬ניתן להתמודד עם איום זה על ידי חיזוק המניפולציה‪ ,‬העשוי להגדיל את המרחק בין‬
‫ממוצעי הקבוצות‪ .‬לדוגמא‪ ,‬אם ההשערה היא כי קפאין גורם להצלחה במבחן‪ ,‬ניתן לתת לקבוצת הניסוי עשר‬
‫כוסות קפה במקום אחת‪.‬‬
‫גודל המדגם‬
‫ככל שהמדגם קטן יותר‪ ,‬שונות התפלגות הדגימה גדולה יותר‪ ,‬רגישות הניסוי ועוצמת הניסוי קטנות‪ ,‬והסיכוי‬
‫לטעות ביתא עולה‪.‬‬
‫שונות הציונים בתוך הקבוצה‬
‫שונות תוך קבוצתית נובעת‪ ,‬כזכור‪ ,‬מהבדלים בין אישיים ומטעויות מקריות‪ .‬ככל ששונות זו גדולה יותר‪ ,‬קטנה‬
‫הרגישות‪ .‬הקטנת הרגישות מקטינה את עוצמת הניסוי ולכן גובר הסיכוי לטעות ביתא‪ .‬קיימות ‪ 3‬דרכים‬
‫אפשריות להתמודד עם איום זה‪ ,‬ולהקטין את השונות התוך קבוצתית‪ :‬הגברת מהימנות המדידה‪,‬‬
‫סטנדרטיזציה של תנאי הניסוי (מתן אותם תנאי ניסוי לכל הנבדקים בקבוצה) וצמצום ההטרוגניות של הנבדקים‬
‫בתוך כל קבוצה (למשל על ידי החזקת משתנה קבוע)‪.‬‬
‫התוקף הפנימי‬
‫התוקף הפנימי (‪ )internal validity‬נוגע לשאלת בלבדיות המניפולציה‪ :‬האם המניפולציה הניסויית‪ ,‬ולא‬
‫משתנים אחרים‪ ,‬היא שגרמה להבדלים בין קבוצות הניסוי? במילים אחרות‪ ,‬קריטריון זה אמור לוודא כי אין‬
‫הסברים חלופיים להבדלים בין הקבוצות מלבד המניפולציה הניסויית‪ .‬הפרכת הסברים חלופיים היא תנאי‬
‫להסקה על קשר סיבתי ולכן לתוקף הפנימי חשיבות רבה‪ .‬נהוג לחלק איומים על תוקף פנימי לשלוש קבוצות‪:‬‬
‫איומים הקשורים למערך לפני‪-‬אחרי ללא קבוצת ביקורת‪ ,‬איומים על מערך בין‪-‬קבוצתי (ללא השמה רנדומלית)‬
‫ואיומים הקשורים לשוויון בין הקבוצות במהלך הניסוי‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫א‪ .‬איומים על מערך לפני ‪ -‬אחרי ללא קבוצת ביקורת‪:‬‬
‫מערך "לפני‪-‬אחרי" (‪ )pre - post test‬הוא מערך בו מתבצעת ראשית מדידה של המשתנה התלוי‪ ,‬אחריה‬
‫מופעלת המניפולציה ואז מתבצעת מדידה נוספת של המשתנה התלוי‪ :‬מדידה לפני ‪ ‬מניפולציה ‪ ‬מדידה‬
‫אחרי‪ .‬ההשוואה היא בין תוצאות המדידות לפני ואחרי תפעול המניפולציה‪ .‬באופן כללי‪ ,‬ניתן לומר כי הכשל‬
‫במערך זה נובע מכך שבהעדר קבוצת ביקורת‪ ,‬לא ניתן לדעת האם השינויים בערכי המשתנה התלוי בקבוצת‬
‫הניסוי ( בין המדידה לפני המניפולציה לבין המדידה אחרי המניפולציה)‪ ,‬נובעים מהמניפולציה או מגורמים‬
‫אחרים‪ ,‬מתערבים‪.‬‬
‫להלן פירוט האיומים ומשמעותם‪:‬‬
‫היסטוריה‬
‫אירועים סביבתיים‪ ,‬חיצוניים למניפולציה‪ ,‬המתרחשים בין המדידות ועלולים להשפיע על הנבדקים‪ .‬ניתן‬
‫להתמודד עם איום זה על ידי השוואה לקבוצת ביקורת ‪ -‬אירועים חיצוניים העלולים להשפיע על הנבדקים‬
‫ישפיעו גם על קבוצת הביקורת ולכן ההבדלים בין הקבוצות לא ייוחסו להיסטוריה (אלא למניפולציה הניסויית)‪.‬‬
‫בשילה‬
‫בשילה (‪ )maturation‬מוגדרת כשינויים פנימיים המתרחשים אצל הנבדקים ואינם קשורים למניפולציה אלא‬
‫לעצם מעבר הזמן בין המדידות‪ .‬מדובר בשינויים כמו התבגרות‪ ,‬עייפות וכו'‪ .‬השוואה לקבוצת ביקורת תעזור‬
‫להתגבר על איום זה‪ ,‬כיוון שסביר ששינויים פנימיים יתרחשו אצל הנבדקים בשתי הקבוצות‪.‬‬
‫מכשור‬
‫שינויים במכשיר המדידה או במצב הנסיין‪ ,‬שהתרחשו בין שתי המדידות‪ ,‬העלולים לשמש הסבר חלופי‬
‫להבדלים בין הקבוצות מהווים את איום המכשור (‪ .)instrumentation‬כך למשל‪ ,‬במחקר הבודק השפעת‬
‫דיאטה על ירידה במשקל‪ -‬אם אכן ניכרת ירידה‪ ,‬ניתן להסבירה גם על ידי שינוי כלשהו במד המשקל‪ .‬השוואה‬
‫לקבוצת ביקורת תשלול הסבר זה‪ ,‬כי השינויים ישפיעו באותה המידה על שתי הקבוצות‪.‬‬
‫מדידה‬
‫עצם המדידה (‪ )testing‬הראשונה עלול לשנות את הנבדק ובכך להשפיע על תוצאות המדידה השנייה‪ ,‬ללא‬
‫קשר לתפעול המניפולציה‪ .‬למשל‪ :‬שאלון עמדות שיינתן לנבדקים לפני שישמעו הרצאה על נושא מסוים‪ ,‬עשוי‬
‫לגרום לנבדקים לחשוב באופן מעמיק יותר על הנושא‪ .‬בשימוש בקבוצת ביקורת שתי הקבוצות יושפעו‬
‫מהמדידה באותו האופן‪ ,‬והאיום יוסר‪.‬‬
‫ההבדל בין איום מכשור ואיום מדידה‪ :‬באיום מכשור השינוי הוא במכשיר המודד או בנסיין‪ .‬באיום מדידה‪,‬‬
‫לעומת זאת‪ ,‬השינוי הוא בנבדק עצמו (כתוצאה מהמדידה)‪.‬‬
‫רגרסיה לממוצע‬
‫כאשר נבחרים נבדקים שציוניהם במדידה המוקדמת קיצוניים ‪ -‬נמוכים או גבוהים מאוד‪ ,‬קיים סיכוי לרגרסיה‬
‫לממוצע (‪ ,)statistical regression‬שהיא רגרסיה של ציונים אלה לכיוון הממוצע במדידה השנייה‪ .‬ציונים‬
‫קיצוניים נפוצים פחות ולכן סביר פחות להניח כי יחזרו על עצמם גם במדידה השנייה‪ .‬למשל‪ ,‬רוב הסיכויים‬
‫שנבדק שקיבל ‪ 100‬במבחן‪ ,‬יצליח פחות במבחן הבא‪ .‬ניתן לפתור את הבעיה ע"י ‪ - matching‬הוספת קבוצת‬
‫ביקורת שבה אותו מספר של נבדקים בעלי ציונים קיצוניים‪ ,‬כמו בקבוצת הניסוי‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫ב‪ .‬איומים על מערך בין‪-‬קבוצתי ללא השמה רנדומלית‬
‫מערך בין קבוצתי הוא מערך המתבסס על השוואה בין קבוצת הניסוי לקבוצה או קבוצות אחרות‪ .‬מערך זה‬
‫משתמש בקבוצת ביקורת אך ללא השמה רנדומלית של הנבדקים‪ .‬גם מערך כזה‪ ,‬המשתמש בקבוצת ביקורת‬
‫מאוים מבחינת תוקף פנימי‪ .‬איומים על מערך זה‪:‬‬
‫ברירה‬
‫ברירה (‪ )selection‬היא מצב בו ניתן לייחס את האפקט שנתגלה בניסוי למאפייני הנבדקים ולא למניפולציה‪,‬‬
‫עקב הבדל שיטתי במאפייני הנבדקים בין קבוצת הניסוי והביקורת‪ .‬אם‪ ,‬למשל‪ ,‬כל הנבדקים בקבוצת הניסוי הם‬
‫מכיתת המחוננים‪ ,‬וכל הנבדקים בקבוצת הביקורת הם תלמידי כיתה רגילה‪ ,‬אזי הרכב הקבוצות ולא‬
‫המניפולציה יגרום להבדלי ההישגים בין הקבוצות‪ .‬השמה רנדומלית לקבוצות השונות יוצרת שוויון הסתברותי‬
‫ביניהן על ידי מתן סיכוי שווה לכל נבדק להשתתף בכל אחד מתנאיי הניסוי‪ .‬רק כך לא ניתן יהיה לייחס את‬
‫האפקט להבדל שיטתי בין הקבוצות‪.‬‬
‫נשירה‬
‫נשירה (‪ )mortality‬היא עזיבת נבדקים את הניסוי לפני סיומו‪ .‬הנשירה עלולה להשפיע על תוצאותיו של הניסוי‪.‬‬
‫יש להבדיל בין נשירה מקרית לנשירה דיפרנציאלית‪ .‬נשירה דיפרנציאלית היא נשירה לא מקרית של נבדקים‪.‬‬
‫כלומר‪ ,‬נבדקים נושרים מקבוצה ספציפית יותר מאשר מקבוצות אחרות‪ .‬נשירה מקרית היא מצב בו באופן‬
‫מקרי לחלוטין נושרות כמויות נבדקים שונות מכל אחת מהקבוצות‪ .‬נשירה דיפרנציאלית עשויה לנבוע‬
‫מאינטראקציה עם ברירה‪ ,‬ולכן השמה רנדומלית תסייע במקרה זה‪ .‬עם זאת‪ ,‬במידה והנשירה נובעת‬
‫מאינטראקציה עם הטיפול (למשל‪ -‬במחקר על דיאטה‪ ,‬נבדקים שירדו במשקל כבר לא מרגישים צורך בדיאטה‬
‫ונושרים מהניסוי)‪ ,‬השמה רנדומלית לא תסייע‪.‬‬
‫אינטראקציות עם ברירה‬
‫אינטראקציות עם ברירה (‪ )statistical interaction with selection‬הן שילוב של כל אחד מהאיומים עד כה‬
‫עם ברירה‪ ,‬כלומר‪ ,‬עם הבדל שיטתי כלשהו בין הקבוצות‪ .‬הבדל שיטתי בין הקבוצות עשוי לגרום לכך שהאיום‬
‫ישפיע באופן שונה על הקבוצות‪ ,‬ויהווה הסבר אלטרנטיבי להבדלים בין הקבוצות במשתנה התלוי‪ .‬למשל‪:‬‬
‫בשילוב של היסטוריה עם ברירה‪ ,‬אירועים מרגשים‪ ,‬שאינם המשתנה הבלתי תלוי‪ ,‬עשויים להשפיע בצורה‬
‫שונה על קבוצות המורכבות מאנשים עם או בלי דיכאון‪.‬‬
‫אפשר להתמודד עם איומים אלה על ידי השמה רנדומלית לקבוצות השונות‪.‬‬
‫ג‪ .‬איומים על שוויון בין קבוצות לאחר השמה רנדומלית‬
‫אפשר להתמודד עם שמונת האיומים העיקריים על התוקף הפנימי על ידי הוספת קבוצת ביקורת והשמה‬
‫רנדומלית לקבוצות‪ .‬עם זאת‪ ,‬גם לאחר שנוצר שוויון התחלתי בין הקבוצות‪ ,‬קיימים חמישה איומים נוספים‪,‬‬
‫פחות משמעותיים‪ ,‬על התוקף הפנימי‪.‬‬
‫להלן פירוט האיומים על שוייון בין קבוצות לאחר השמה רנדומלית‪ ,‬ומשמעותם‪:‬‬
‫דה מורליזציה‪ -‬התמרמרות נבדקי קבוצת הביקורת‬
‫התמרמרות בקרב נבדקי קבוצת הביקורת ( ‪ ,)resentful demoralization of control group subjects‬אשר‬
‫אינם מקבלים את תנאי המניפולציה‪ ,‬ולכן עלולים לחוש מקופחים‪ .‬תחושת קיפוח זו עשויה להשפיע על תוצאות‬
‫הניסוי‪ .‬מניעת מעבר מידע בין הקבוצות‪ ,‬ו‪ /‬או מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים עשויה‬
‫למנוע התמרמרות זו‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫דיפוזיה של מידע‬
‫דיפוזיה של מידע (‪ )diffusion of treatment to the control group‬היא דליפת מידע בין הקבוצות‪ ,‬העלולה‬
‫להרוס את השפעת המניפולציה‪ .‬אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין הקבוצות‪.‬‬
‫היסטוריה מקומית‬
‫אירוע המתקיים באופן ייחודי באחת הקבוצות ועלול להשפיע השפעה מהותית על תוצאות הניסוי‪" .‬הרצת‬
‫הניסוי" במקביל ובתנאים דומים ככל האפשר בשתי הקבוצות (דיסגרגציה) תעזור להתגבר על איום זה‪.‬‬
‫ההבדל בין איום ההיסטוריה (שהוזכר בחלק הקודם) לבין איום ההיסטוריה המקומית (‪ :)local history‬איום‬
‫ההיסטוריה מתייחס לאירוע חיצוני שקרה לכל הנבדקים בכל הקבוצות בין שתי המדידות‪ .‬אם אירוע זה השפיע‬
‫באופן שונה על הקבוצות השונות עקב הבדל שיטתי במאפייני הנבדקים בקבוצות‪ ,‬האיום יכונה אינטראקציה של‬
‫היסטוריה וברירה‪ .‬לעומת זאת איום ההיסטוריה המקומית‪ ,‬מתייחס לאירוע שקרה רק לנבדקים בקבוצה‬
‫מסוימת‪.‬‬
‫השוואה מפצה‬
‫מצב בו המניפולציה מניבה רווח כלשהו לנבדקים ולכן נבדקי קבוצת הביקורת או גוף חיצוני דורשים פיצוי של‬
‫קבוצת הביקורת‪ .‬מתן פיצוי לקבוצת הביקורת‪ ,‬או השוואה מפצה ( ‪compensating equalization of‬‬
‫‪ ,)treatment‬יוצר דיפרנציאציה בין הקבוצות‪ ,‬שאין מקורה במשתנה הבלתי תלוי‪ .‬אפשר להתמודד עם איום‬
‫זה על ידי מניעת מעבר מידע בין הקבוצות‪ ,‬ו‪/‬או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים‪.‬‬
‫תחרות מפצה‬
‫מצב בו הקבוצה ה"מקופחת" משקיעה מאמץ על מנת שלא תושג העליונות הצפויה של הקבוצה השנייה הוא‬
‫מצב של תחרות מפצה (‪ .)compensatory rivalry‬אפשר להתמודד עם איום זה על ידי מניעת מעבר מידע בין‬
‫הקבוצות‪ ,‬ו‪ /‬או על ידי מניעת מודעות לגבי סוג הקבוצה אליה שייכים הנבדקים‪.‬‬
‫תוקף המבנה‬
‫תוקף המבנה (‪ )construct validity‬מתייחס לקשר בין המשתנים התצפיתיים והמשתנים התיאורטיים‪ :‬האם‬
‫ההגדרות האופרציונליות של המשתנה התלוי והבלתי תלוי אכן מייצגות את המונחים התיאורטיים אותם התכוון‬
‫החוקר לבדוק?‬
‫היבטים של תוקף מבנה‬
‫תוקף המבנה מתייחס לשאלת ההלימה בין ההגדרה האופרציונלית למונח התיאורטי‪ ,‬על שני היבטיה‪ -‬מיצוי‬
‫ובלבדיות‪ .‬בעיה בכל אחד מהיבטים אלה תשפיע על תוקף המבנה‪.‬‬
‫מיצוי‬
‫מיצוי‪ :‬הגדרה אופרציונלית נחשבת ממצה אם היא כוללת את כל המרכיבים של המונח התיאורטי הנחקר‪.‬‬
‫כשיש בעיה של חוסר מיצוי אפשר להוסיף מדדים אופרציונליים הבודקים מרכיבים אחרים של אותו מונח‬
‫תיאורטי‪ .‬ככל שיש יותר הגדרות אופרציונליות וכולן מניבות את אותן המסקנות‪ ,‬מתחזק תוקף המבנה‪ .‬עם‬
‫זאת‪ ,‬קשה להגיע להגדרה אופרציונלית אחת ממצה לחלוטין‪ ,‬משום שמונחים תיאורטיים הם לרוב מורכבים‬
‫ועשירים‪ .‬לדוגמא‪ ,‬המשתנה התיאורטי "אינטליגנציה" יכול לקבל מספר הגדרות אופרציונליות‪ :‬מבחני כושר‬
‫ביצוע‪ ,‬מבחני יכולות מתמטיות‪ ,‬מבחני יכולות מילוליות‪ ,‬וכד'‪ .‬מדידה של יכולת מילולית בלבד‪ ,‬למשל‪ ,‬לא תמצה‬
‫את המשתנה התיאורטי ממנו נגזרה ההגדרה האופרציונלית‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫בלבדיות‬
‫בלבדיות‪ :‬הגדרה אופרציונלית נחשבת בלבדית אם היא כוללת רק מרכיבים השייכים למונח התיאורטי הנחקר‪,‬‬
‫ואינה כוללת מרכיבים שאינם שייכים למונח זה‪ .‬בעיה של חוסר בלבדיות חמורה יותר מבעיה של חוסר מיצוי‪,‬‬
‫משום שייתכן כי המניפולציה השפיעה בגלל היבט של ההגדרה האופרציונלית שאינו קשור למונח התיאורטי‪.‬‬
‫לדוגמא‪ :‬מדידת המשתנה התיאורטי "אינטליגנציה" על ידי מבחני יכולת מילולית‪ ,‬עשויה לערב משתנה נוסף‪:‬‬
‫הבנת שפה‪.‬‬
‫איומים על תוקף המבנה‬
‫קיימים מספר גורמים הפוגעים במיצוי ו‪ /‬או בבלבדיות ומאיימים על תוקף המבנה‪:‬‬
‫משתנה מוצמד‬
‫משתנה מוצמד (‪( (Confounding‬נקרא בעברית גם בלבול‪ ,‬ערבוב) הוא מצב בו היבט של המשתנה הבלתי‬
‫תלוי האופרציונלי‪ ,‬אחר מזה שרצה החוקר לתפעל‪ ,‬מוצמד למשתנה הבלתי תלוי‪ .‬במצב זה‪ ,‬השפעה על‬
‫המשתנה התלוי לא יכולה להיות מיוחסת בביטחון למשתנה הבלתי תלוי שרצה החוקר לתפעל‪ .‬לדוגמא‪ ,‬חוקר‬
‫בוחר לתפעל שמח ה בניסוי באמצעות בדיחות משעשעות המסופרות לנבדקים במהלך ההפסקה בין השיעורים‪.‬‬
‫אפקט השמחה‪ ,‬במידה וימצא‪ ,‬עשוי להיות מיוחס להשפעתה של ההפסקה ולאו דווקא לתוכן הבדיחות‪.‬‬
‫חוסר בהירות המשתנה התיאורטי‬
‫קיימים מונחים תיאורטיים הנתונים לפרשנות שונה על ידי חוקרים שונים‪ .‬פרשנות שונה מובילה להגדרות‬
‫אופרציונליות שונות לאותו מונח תיאורטי‪ .‬העדר הסכמה בין חוקרים בנושא זה עלול להוליד פירושים שונים‬
‫לתוצאות הניסויים‪ .‬כך חוסר בהירות של המשתנה התיאורטי (‪)inadequate explication of constructs‬‬
‫עשוי לפגום במיצוי ובבלבדיות ההגדרות האופרציונליות הנגזרות ממנו‪.‬‬
‫בעיית הלימה‬
‫לעיתים אין חפיפה מספקת בין המשתנה התיאורטי והגדרתו התצפיתית (האופרציונלית)‪ .‬העדר התאמה בין‬
‫המונח התיאורטי והמשתנה התצפיתי מאיים על תוקף המבנה של הניסוי‪ .‬העדר התאמה יכול לפגום במיצוי‬
‫(אם ההגדרה האופרציונלית כוללת רק חלק ממרכיבי המונח התיאורטי) או בבלבדיות (אם ההגדרה‬
‫האופרציונלית כוללת גם מרכיבים שאינם קשורים למונח התיאורטי)‪.‬‬
‫איומים הקשורים בנסיין ובנבדק‬
‫שני האיומים הראשונים‪ ,‬שהוזכרו לעיל‪ ,‬קשורים אך ורק בתוקף המבנה‪ ,‬כלומר‪ ,‬בקשר בין המשתנים‬
‫התיאורטיים והתצפיתיים‪ .‬שלושת האיומים הבאים שנויים במחלוקת‪ .‬יש המייחסים אותם לאיום על תוקף‬
‫המבנה ויש המייחסים אותם לאיום על התוקף הפנימי‪:‬‬
‫‪ .1‬ציפיות הנסיין‪ -‬הנסיין מודע פעמים רבות להשערות הניסוי‪ ,‬דבר העשוי להתבטא בהתנהגותו באופן מודע‬
‫או בלתי מודע ולהשפיע על תוצאות הניסוי‪.‬‬
‫‪ .2‬מאפייני מצב הניסויי (‪ )Demand characteristics‬מאפייני ניסוי הרומזים לנבדק על מטרת הניסוי‬
‫ועשויים לסייע לו לגלות אותה ולהתנהג בהתאם לה‪.‬‬
‫‪ .3‬רצייה חברתית‪ -‬שאיפת הנבדקים לזכות בהערכת הנסיין משנה את התנהגותם‪.‬‬
‫בכל המקרים הללו הנבדקים פועלים בעקבות המניפולציה אך לא תוכן המניפולציה הוא שהשפיע עליהם‪ ,‬אלא‬
‫תחושותיהם והבנתם ביחס למה שמצפים מהם‪ .‬אם מתייחסים אל גורמים אלה כאל היבט של המניפולציה‬
‫שאינו קשור למשתנה התיאורטי‪ ,‬ניתן להתייחס אל איומים אלה כאיומים על תוקף המבנה (פגיעה בבלבדיות)‪.‬‬
‫עם זאת‪ ,‬ניתן באותה המידה להתייחס אל איומים אלה כאל איומים על התוקף הפנימי‪ -‬ייתכן והמניפולציה לא‬
‫פעלה וגורמים אחרים‪ ,‬שהם חיצוניים לה‪ ,‬גרמו לאפקט‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬
‫התוקף החיצוני‬
‫איומים על התוקף החיצוני‬
‫אינטראקציה בין מדידה לטיפול‬
‫קיימת בעיה של הכללת ממצאים ממצב בו המניפולציה הופעלה לאחר מדידה מוקדמת (מערך לפני אחרי)‪,‬‬
‫למצבים בהם המניפולציה תופעלה ללא מדידה מוקדמת‪ .‬כאשר המניפולציה תופעלה לאחר המדידה המוקדמת‬
‫קיימת סכנה לאינטראקציה בין מדידה וטיפול (‪ .)interaction of testing and treatment‬ניתן להתמודד עם‬
‫איום זה על ידי השוואת הממצאים שהתקבלו במערך לפני אחרי לממצאים מקבוצה בה לא בוצעה המדידה‬
‫המוקדמת‪ ,‬רק המניפולציה‪.‬‬
‫ההבדל בין איום זה‪ ,‬לאיום של מדידה על התוקף הפנימי (שהוזכר קודם)‪ :‬באיום של מדידה על התוקף הפנימי‪,‬‬
‫יש חשד כי המניפולציה לא עבדה כלל‪ ,‬ורק המדידה המוקדמת גרמה לתוצאות‪ .‬באיום של אינטראקציה בין‬
‫טיפול ומדידה על התוקף החיצוני‪ ,‬המניפולציה השפיעה‪ ,‬אך ייתכן שהשפעתה תלויה בשילוב עם המדידה‬
‫המוקדמת‪.‬‬
‫בעיות של דגימה ‪ /‬אינטראקציה בין המניפולציה לאוכלוסייה‬
‫בעיות דגימה ‪ /‬אינטראקציה בין המניפולציה לאוכלוסייה (‪ )interaction of selection and treatment‬הן‬
‫בעיות המתייחסות למצב בו המדגם אינו מקרי או אינו מייצג את האוכלוסייה ממנה הוא נלקח ולכן לא ניתן‬
‫להכליל ממנו אל האוכלוסייה הרצויה‪ .‬ניתן להתמודד עם איום זה על ידי דגימה רנדומלית ומייצגת של‬
‫האוכלוסייה‪ ,‬או על ידי הפיכת סוג המדגם למשתנה שיטתי‪ :‬על ידי חזרה על הניסוי עם מדגם אחר כל פעם‪.‬‬
‫בעיות של זמן ומקום ( אינטראקציה בין המניפולציה למועד או לסביבת הניסוי)‬
‫בעיות של זמן ומקום ‪ /‬אינטראקציה בין המניפולציה למועד או לסביבת הניסוי ( ‪interaction of setting or‬‬
‫‪ )history and treatment‬הן בעיות בהכללת הממצאים מעבר לזמן או למקום הספציפיים בהם נערך הניסוי‪.‬‬
‫ייתכן שהמני פולציה השפיעה בשל ההקשר המסוים של הניסוי‪ ,‬ולא תשפיע בזמן או מקום אחרים‪ .‬אפשר‬
‫להתמודד עם איום זה על ידי חזרה על הניסוי בתנאים שונים (ווריאציות שיטתיות)‪ .‬מושג רלוונטי למצב זה הוא‬
‫תוקף אקולוגי‪ ,‬המתייחס לסוגיית היכולת המוגבלת להכליל ממצאי ניסוי שהתקבלו במעבדה לשטח‪ ,‬לעולם‬
‫האמיתי‪ .‬ניתן לנסות לפתור איום זה על ידי הפיכת הסביבה המעבדתית לדומה ככל האפשר למציאות‬
‫(‪ ,)experimental realism‬למשל על ידי שימוש בתפאורה‪.‬‬
‫הקשר בין התקפים השונים של ממצאי הניסוי‬
‫לא ניתן להתמודד עם ארבעת סוגי תוקף ממצאי הניסוי בו זמנית‪ .‬ביסוס תו קף מסוג אחד עלול לאיים על תוקף‬
‫מסוג אחר‪ .‬הגברת תוקף המסקנה הסטטיסטית על ידי החזקת משתנה קבוע‪ ,‬למשל‪ ,‬פוגעת בתוקף החיצוני‬
‫משום שנפגעת יכולת ההכללה לרמות שונות של המשתנה שהוחזק קבוע‪ .‬ההחלטה לגבי סדר העדיפויות בין‬
‫סוגי התוקף תלויה באופי ומטרות המחקר‪ ,‬אך באופן עקרוני‪ ,‬על התוקף הפנימי להיות תמיד הראשון בסדר‬
‫העדיפויות‪ .‬קל יחסית להקפיד על תוקף זה על ידי תכנון הולם של ניסוי במעבדה‪.‬‬
‫פתרונות – קורס ההכנה המוביל בישראל לבחינת המתא"ם‬
‫‪www.pitronot.org‬‬