נתונים על בחינת מתא"ם

‫נתונים על בחינת מתא"ם ‪ -‬אוקטובר ‪4102‬‬
‫הוצגו לוועדת ההיגוי של מתא"ם לישיבה שהתקיימה בתאריך ‪4111113‬‬
‫עם סיום המועד הראשון של המבחן ב‪ )4111114113( 4113-‬נשמעה טענה על אי שוויון בין נבחנים‬
‫שלמדו בשני קורסי ההכנה שרוב הנבחנים לומד בהם‪" ,‬פתרונות" ו"אופק"‪1‬‬
‫בחינת מתא"ם מורכבת משני חלקים‪ :‬מתודולוגיה וטקסטים‪ 1‬בחלק הטקסטים ארבעה קטעים‪ 1‬לפי‬
‫הטענה‪ ,‬קורס "פתרונות" לימד את הטקסטים מס' ‪ 4‬ומס' ‪ 3‬ובכך ניתן יתרון לא הוגן ללומדים בקורס‬
‫זה‪ ,‬הן ביחס לטקסטים הנ"ל והן ביחס לזמן שהתפנה לכלל הטקסטים עקב כך (שני הטקסטים הנ"ל‬
‫הם אכן טקסטים שנעשה בהם שימוש בעבר בבחינת מתא"ם)‪1‬‬
‫על מנת לסייע בקבלת החלטה הוגנת ושוויונית ככל האפשר לגבי כל אחת מהקבוצות הנ"ל‪ ,‬ו‪/‬או‬
‫לנבחנים אחרים‪ ,‬נעשו בדיקות מסוגים שונים‪ 1‬הנתונים לבדיקות הגיעו מציוני הגלם של הנבחנים‬
‫בבחינה זו (מספר תשובות נכונות) ודיווח במשוב שנערך לאחר הבחינה (באיזה קורס למדת? מה‬
‫סדר ההשבה על הטקסטים?)‪1‬‬
‫בדיקות אלה ותוצאותיהן מתוארות להלן בסדר הבא‪:‬‬
‫א‪1‬‬
‫ב‪1‬‬
‫איתור נבחנים שלמדו בקורסים של פתרונות ואופק‬
‫חישוב הישגי הקבוצות השונות בחלקי המבחן השונים ובדיקת פערים ברמת ציוני הגלם‬
‫ג‪1‬‬
‫ד‪1‬‬
‫ה‪1‬‬
‫נתוני סדר השבה על הטקסטים‬
‫השוואה בין מספר שיטות חלופיות לחישוב ציוני מועד זה –מהימנויות‬
‫השוואה בין מספר שיטות חלופיות לחישוב ציוני מועד זה – ציוני גלם‬
‫א‪ .‬איתור נבחנים שלמדו בקורסים‬
‫איתור הנבחנים נעשה על סמך דיווח עצמי בשאלון המשוב הניתן לנבחנים מיד בתום המבחן‪1‬‬
‫לבחינה נגשו ‪ 111‬איש‪1‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫מתוכם‪ :‬מילאו משוב ‪ ,091‬מתוכם‪ :‬הזדהו ‪059‬‬
‫מתוכם‪ :‬סימנו לימוד בקורסי "אופק" וב"פתרונות" ‪ 543‬איש‬
‫מתוכם סימנו שלמדו ב"אופק" ‪" ,)01%( 453‬פתרונות" ‪)44%( 171‬‬
‫‪1‬‬
‫ב‪ .‬חישוב הישגי הקבוצות השונות בחלקי המבחן השונים ובדיקת פערים ברמת ציוני הגלם‬
‫הטבלה מציגה נתונים השוואתיים על הקבוצות שבדקנו בסעיף הקודם‪ 1‬בכל שורה מופיעים שני‬
‫מספרים‪ 1‬העליון ‪ -‬ציון גלם (מספר תשובות נכונות)‪ ,‬התחתון ‪ -‬סטיית תקן של ציון זה‪ 1‬הפער )‪ )D‬בין‬
‫הקבוצות מבוטא גם במונחי סטיית התקן המשותפת לשתי הקבוצות‪ 1‬נתון זה בר השוואה לאורך‬
‫הטור של הפער‪1‬‬
‫הישגי הקבוצות השונות בחלקי המבחן השונים ופערים ברמת ציוני הגלם‬
‫כולם‬
‫‪N = 811‬‬
‫‪D‬‬
‫‪N = 524‬‬
‫פער‬
‫‪N = 524‬‬
‫אחרים‬
‫‪N = 287‬‬
‫דיווח –‬
‫"פתרונות"‬
‫‪N = 170‬‬
‫דיווח –‬
‫"אופק"‬
‫‪N = 354‬‬
‫‪27.3‬‬
‫‪5.7‬‬
‫‪0.60‬‬
‫‪3.3‬‬
‫‪5.5‬‬
‫‪26.8‬‬
‫‪6.1‬‬
‫‪25.3‬‬
‫‪6.2‬‬
‫‪28.6‬‬
‫‪4.8‬‬
‫מתודולוגיה‬
‫‪9.3‬‬
‫‪2.5‬‬
‫‪0.60‬‬
‫‪1.5‬‬
‫‪2.5‬‬
‫‪9.2‬‬
‫‪2.4‬‬
‫‪8.3‬‬
‫‪2.6‬‬
‫‪9.8‬‬
‫‪2.3‬‬
‫טקסט ‪1‬‬
‫‪7.2‬‬
‫‪2.1‬‬
‫‪0.29‬‬
‫‪0.6‬‬
‫‪2.1‬‬
‫‪7.2‬‬
‫‪2.1‬‬
‫‪6.8‬‬
‫‪2.2‬‬
‫‪7.4‬‬
‫‪2.1‬‬
‫טקסט ‪4‬‬
‫‪9.4‬‬
‫‪2.2‬‬
‫‪0.29‬‬
‫‪0.6‬‬
‫‪2.1‬‬
‫‪9.2‬‬
‫‪2.3‬‬
‫‪9.1‬‬
‫‪2.3‬‬
‫‪9.7‬‬
‫‪2.1‬‬
‫טקסט ‪4‬‬
‫‪6.8‬‬
‫‪2.2‬‬
‫‪0.05‬‬
‫‪0.1‬‬
‫‪2.2‬‬
‫‪6.8‬‬
‫‪2.3‬‬
‫‪6.7‬‬
‫‪2.2‬‬
‫‪6.8‬‬
‫‪2.1‬‬
‫טקסט ‪3‬‬
‫ניכרים הבדלים בין הקבוצות‪ 1‬בממוצע אנשי "פתרונות" משיגים ציונים נמוכים מציוני אנשי "אופק"‪ 1‬אפשר‬
‫לומר כי ההיכרות עם הקטעים אמנם עזרה‪ ,‬אך לא שיפרה באופן דרמטי את הישגי נבחני "פתרונות"‪1‬‬
‫מסקנות‪ ,‬לגבי פערים‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫הפער בין שתי הקבוצות‪" ,‬פתרונות" ואופק"‪ ,‬אינו קבוע‪:‬‬
‫‪ 1101‬ס‪1‬ת‪1‬‬
‫במתודולוגיה הפער הוא‬
‫‪ 1101‬ס‪1‬ת‪( 1‬פער כמו במתודולוגיה)‬
‫בטקסט ה‪( 1-‬חדש)‬
‫‪ 1149‬ס‪1‬ת‪( 1‬הפער יורד במקצת)‬
‫בטקסט ה‪( 4-‬ישן)‬
‫‪ 1149‬ס‪1‬ת‪( 1‬הפער כמו בטקסט הקודם)‬
‫בטקסט ה‪( 4-‬חדש)‬
‫‪ 1115‬ס‪1‬ת‪( 1‬הפער יורד עוד וכמעט מתאפס)‬
‫בטקסט ה‪( 3-‬ישן)‬
‫נראה שערכי הפער נובעים משני גורמים‪ :‬רמת היכרות עם הטקסט ומיקומו ברצף הטקסטים‬
‫(בטקסט הראשון הפער בין הקבוצות זהה לפער שנצפה בפרק המתודולוגיה‪ ,‬בהמשך הפער יורד‬
‫ובפרק האחרון‪ ,‬שהיה מוכר לקבוצת "פתרונות" הפער כמעט ונמחק)‪1‬‬
‫‪4‬‬
‫ג‪ .‬נתוני סדר השבה על טקסטים‬
‫לפי דיווח עצמי של ‪ 010‬מכלל הנבחנים‪ 95%( 577 ,‬מהנבחנים) התחילו בפרק הראשון‪1‬‬
‫מתוכם ‪ )13%( 310‬השיבו לפי סדר הפרקים (‪ 11%‬מכלל הנבחנים)‪1‬‬
‫נתונים אלה מחזקים את המסקנה שהביצוע בטקסט הראשון לא הושפע מהכרות עם הטקסטים השני‬
‫והרביעי‪1‬‬
‫ד‪ .‬השוואת שיטות חלופיות לחישוב ציוני מועד זה – מהימנויות וטעויות תקן של המדידה‬
‫מהימנות המבחן מעידה על רמת הדיוק שלו‪ 1‬ממוצע ערכי המהימנות של בחינת המתא"ם בעשר‬
‫השנים האחרונות הוא כלהלן‪ :‬מתודולוגיה ‪ ,1179 -‬טקסטים (כל הארבעה יחדיו) ‪ ,1177 -‬ציון כללי ‪-‬‬
‫‪1117‬‬
‫טעות התקן של המדידה מבטאת את סטיית התקן של הציון המדווח סביב הציון האמיתי‪ ,‬על סמך‬
‫מהימנות המבחן‪ 1‬את גודל טעות התקן של המדידה ניתן להעריך על סמך סטיית התקן של הציונים‬
‫המדווחים‪ ,‬שערכה הוא ‪141‬‬
‫הטבלה מציגה את מהימנויות וטעויות התקן של המדידה‪ ,‬לכמה שילובים שונים של פרקי הבחינה‪1‬‬
‫העיבודים בסעיף זה התבצעו על כל הנבחנים מהמועד (‪ 1)111‬נבדקו שתי חלופות‪ :‬טקסט ראשון‬
‫בלבד; טקסט ראשון ושלישי‪ 1‬החלופות מושוות לפרק הטקסטים המלא‪ ,‬הכולל את כל ארבעת‬
‫הטקסטים‪1‬‬
‫מהימנויות וטעויות התקן של המדידה בחלופות שונות לחישוב ציוני הבחינה‬
‫פרק טקסטים מלא‬
‫ארבעה טקסטים‬
‫חלופה ‪4‬‬
‫טקסטים ראשון ושלישי‬
‫חלופה ‪0‬‬
‫טקסט ראשון‬
‫‪0.811‬‬
‫‪8.76‬‬
‫‪0.749‬‬
‫‪11.41‬‬
‫‪0.645‬‬
‫‪11.94‬‬
‫מתודולוגיה‬
‫מתודולוגיה‬
‫מתודולוגיה‬
‫‪0.796‬‬
‫‪9.03‬‬
‫‪0.796‬‬
‫‪9.03‬‬
‫‪0.796‬‬
‫‪9.03‬‬
‫ציון כללי‬
‫ציון כללי‬
‫ציון כללי‬
‫‪0.871‬‬
‫‪7.18‬‬
‫‪0.821‬‬
‫‪8.46‬‬
‫‪0.771‬‬
‫‪9.57‬‬
‫מהימנות‬
‫טעות התקן של המדידה‬
‫מהימנות‬
‫טעות התקן של המדידה‬
‫מהימנות‬
‫טעות התקן של המדידה‬
‫ניתן לראות את ההבדלים בין הטורים הנובעים ממספר הטקסטים המשמשים לחישוב הציון‪ 1‬מהימנות‬
‫הציון הסופי בחלופה ‪ )11771( 1‬נמוכה ב‪ 111 -‬מהמהימנות של הציון הכללי עם כל ארבעת הטקסטים‬
‫(‪ )11171‬ונמוכה ב‪ 1115 -‬מהמהימנות של הציון הכללי עם טקסטים ‪1)11141( 134‬‬
‫‪4‬‬
‫ה‪ .‬השוואה בין כמה שיטות חלופיות לחישוב ציוני מועד זה – פערי ציונים‬
‫הטבלה מציגה נתונים השוואתיים על הקבוצות שנבדקו ‪ -‬בכל שורה מופיעים שני מספרים ‪ -‬העליון ‪-‬‬
‫ציון גלם (מספר תשובות נכונות)‪ ,‬התחתון ‪ -‬סטיית תקן של ציון זה‪ 1‬נבדקו שתי החלופות (טקסט ‪1‬‬
‫וטקסט ‪ )134‬ונערכה השוואה למצב של פרק טקסטים מלא‪ 1‬הפער בין הקבוצות (‪ )D‬מבוטא גם‬
‫במונחי סטיית התקן המשותפת לשתי הקבוצות‪ 1‬נתון זה בר השוואה לאורך הטור של הפער‪1‬‬
‫נתונים על אודות הישגי הנבחנים בקבוצות השונות בחלופות לחשוב ציוני מתא"ם‬
‫כולם‬
‫‪D‬‬
‫פער‬
‫אחרים‬
‫דיווח –‬
‫"פתרונות"‬
‫דיווח –‬
‫"אופק"‬
‫‪N = 811‬‬
‫‪N = 534‬‬
‫‪N = 524‬‬
‫‪N = 287‬‬
‫‪N = 170‬‬
‫‪N = 354‬‬
‫‪27.3‬‬
‫‪5.7‬‬
‫‪0.60‬‬
‫‪3.3‬‬
‫‪5.5‬‬
‫‪26.8‬‬
‫‪6.1‬‬
‫‪25.3‬‬
‫‪6.2‬‬
‫‪28.6‬‬
‫‪4.8‬‬
‫מתודולוגיה‬
‫‪9.3‬‬
‫‪2.5‬‬
‫‪0.60‬‬
‫‪1.5‬‬
‫‪2.5‬‬
‫‪9.2‬‬
‫‪2.4‬‬
‫‪8.3‬‬
‫‪2.6‬‬
‫‪9.8‬‬
‫‪2.3‬‬
‫חלופה ‪ - 1‬טקסט ‪1‬‬
‫‪18.7‬‬
‫‪4.1‬‬
‫‪0.53‬‬
‫‪2.1‬‬
‫‪4‬‬
‫‪18.4‬‬
‫‪4.1‬‬
‫‪17.4‬‬
‫‪4.4‬‬
‫‪19.5‬‬
‫‪3.7‬‬
‫חלופה ‪ - 4‬טקסטים ‪134‬‬
‫‪32.7‬‬
‫‪6.8‬‬
‫‪0.41‬‬
‫‪2.8‬‬
‫‪6.9‬‬
‫‪32.4‬‬
‫‪6.8‬‬
‫‪30.9‬‬
‫‪7.5‬‬
‫‪33.7‬‬
‫‪6.4‬‬
‫פרק מלא ‪ -‬ארבעה טקסטים‬
‫לסיכום‬
‫בחלופה הראשונה (טקסט ‪ )1‬יש פער זהה בין הקבוצות (‪ )110‬הן במתודולוגיה והן בטקסטים‪ 1‬אמנם‬
‫המהימנות שלה נמוכה במעט מחלופה ‪( 4‬טקסטים ‪ )134‬אך זו החלופה השוויונית וההוגנת ביותר‬
‫מבין החלופות ולכן נבחרה כחלופה העדיפה על ידי ועדת ההיגוי של מתאם בשיתוף נציגי התאחדות‬
‫הסטודנטים‪ ,‬ואושרה על ידי ראשי המחלקות לפסיכולוגיה‪ 1‬ציון נבחני מועד זה יחושב על סמך ביצועם‬
‫בפרק המתודולוגיה ובטקסט הראשון‪ ,‬במשקלות הנהוגים בבחינה זו (‪ 41%‬מתודולוגיה ו‪71%-‬‬
‫טקסטים)‪1‬‬
‫‪3‬‬