חקר המבנה הפנימי של מבחן ב במדעים " המיצ

‫חקר המבנה הפנימי של מבחן‬
‫המיצ"ב במדעים‬
‫יגאל אטאלי‬
‫‪Educational Testing Service‬‬
‫יואל רפ ועינת נוטע‪-‬קורן‬
‫ראמ"ה‪ -‬הרשות הארצית למדידה והערכה בחינוך‬
‫מבחן המיצ"ב במדעים‬
‫• מועבר מדי שנה‬
‫• כולל פריטים מסוגים שונים‬
‫– חלק מהפריטים תלויים בגריינים משותפים‬
‫• מגוון רחב של נושאים‬
‫מטרת העבודה‬
‫• המבחן במדעים הוא מבחן רחב הקף‬
‫• ניתוח המבנה הפנימי של המבחן‬
‫– התאמה לחלוקה המקורית לנושאים‬
‫• השלכות למבנה מורכב‬
‫– מהימנות‬
‫– ציינון המבחן‬
‫– פיתוח המבחן‬
‫נתונים‬
‫•‬
‫•‬
‫•‬
‫•‬
‫אחד הנוסחים שהועברו ב‪2010 -‬‬
‫שבעה נושאים‬
‫בחירה באחד משני הנושאים האחרונים‬
‫ניתוחים התבססו על ‪ 2,200‬תלמידים שבחרו‬
‫בנושא ‪ 6‬וענו על כל השאלות‬
‫נושאי המבחן‬
‫‪.1‬‬
‫‪.2‬‬
‫‪.3‬‬
‫‪.4‬‬
‫‪.5‬‬
‫‪.6‬‬
‫‪.7‬‬
‫מערכות טכנולוגיות ומוצרים )‪ 6‬פריטים(‬
‫מערכות אקולוגיות )‪ 12‬פריטים(‬
‫אנרגיה )‪ 5‬פריטים(‬
‫חומרים )‪ 13‬פריטים(‬
‫התא )‪ 2‬פריטים(‬
‫משק המים )‪ 7‬פריטים(‬
‫רבייה )‪ 7‬פריטים(‬
‫ניתוחים ראשוניים‬
‫• ‪ 45‬פריטים‬
‫• אחוז ממוצע של תשובות נכונות – ‪72%‬‬
‫• ממוצע מתאמים בין פריטים לציון כולל – ‪0.30‬‬
‫ניתוחים ברמת הנושא‬
Subject
Items
M
SD
Max
Score
Corr
w/Total
All
45
71.9
14.4
100
1
6
10.8
2.8
14
0.47
0.52
0.41
2
12
19.3
3.2
24
0.51
0.54
0.58
3
5
7.0
2.1
10
0.39
0.30
0.36
4
13
19.3
6.1
27
0.64
0.76
0.60
5
2
1.4
1.3
4
0.24
0.24
0.19
6
7
14.2
4.8
21
0.62
0.57
0.45
Alpha
Expected
Alpha
0.84
‫סוגי המודלים‬
‫‪GF‬‬
‫‪F1‬‬
‫‪F2‬‬
‫מודל חד גורמי‬
‫מודל רב גורמי‬
‫‪GF‬‬
‫‪F2‬‬
‫‪F1‬‬
‫‪F2‬‬
‫‪F1‬‬
‫‪GF‬‬
‫מודל היררכי‬
‫מודל דו גורמי‬
‫השוואת מבנים‬
‫•‬
‫•‬
‫•‬
‫•‬
‫ניתוח גורמים מאושש‬
‫תוכנת ‪LISREL‬‬
‫מטריצת המתאמים הפוליכורים בין הפריטים‬
‫אומדן באמצעות ‪Diagonally Weighted Least Squares‬‬
‫התאמת מודלים לנתונים‬
‫המודל ההיררכי לא התכנס ונזנח‬
‫התאמה טובה לשאר המודלים‬
‫שיפור קל במעבר ממודל חד לרב גורמי‬
‫שיפור קל נוסף במעבר ממודל רב לדו גורמי‬
1-factor
6-factors
Bi-factor
7,069 (945)
4,245 (930)
3,076 (900)
CFI
0.97
0.98
0.98
TLI
0.97
0.98
0.98
RMSEA
0.038
0.028
0.023
Chi-square (d.f.)
SRMR
0.074
0.063
0.060
Note. CFI = Comparative Fix Index; TLI = Tucker-Lewis Index; RMSEA
= Root Mean Square Error of Approximation; SRMR = Standardized Root
Mean Square Residual.
•
•
•
•
‫מתאמים בין גורמים‬
‫• טווח רחב של מתאמים‬
‫‪F5‬‬
‫‪0.57‬‬
‫‪F4‬‬
‫‪F3‬‬
‫‪F2‬‬
‫‪F1‬‬
‫‪0.86‬‬
‫‪F2‬‬
‫‪0.53‬‬
‫‪0.53‬‬
‫‪F3‬‬
‫‪0.75‬‬
‫‪0.65‬‬
‫‪0.61‬‬
‫‪F4‬‬
‫‪0.48‬‬
‫‪0.46‬‬
‫‪0.24‬‬
‫‪0.21‬‬
‫‪F5‬‬
‫‪0.80‬‬
‫‪0.76‬‬
‫‪0.72‬‬
‫‪0.75‬‬
‫‪F6‬‬
‫השוואת טעינות פריטים‬
‫חד גורמי ‪ ‬דו גורמי )כללי(‬
‫‪0.8‬‬
‫‪0.7‬‬
‫‪0.6‬‬
‫‪0.5‬‬
‫‪0.3‬‬
‫‪0.2‬‬
‫‪0.1‬‬
‫‪0.0‬‬
‫‪-0.1‬‬
‫‪0.8‬‬
‫‪0.7‬‬
‫‪0.6‬‬
‫‪0.5‬‬
‫‪0.4‬‬
‫‪0.3‬‬
‫)‪Bi-factor (general factor‬‬
‫‪0.2‬‬
‫‪0.1‬‬
‫‪0.0‬‬
‫‪-0.1‬‬
‫‪1-factor‬‬
‫‪0.4‬‬
‫השוואת טעינות פריטים‬
‫דו גורמי )נושא( ‪ ‬דו גורמי )כללי(‬
‫‪0.8‬‬
‫‪0.6‬‬
‫‪ 1‬טכנולוגיה‬
‫‪ 2‬אקולוגיה‬
‫‪ 3‬אנרגיה‬
‫‪ 4‬חומרים‬
‫‪0.2‬‬
‫‪ 5‬התא‬
‫‪ 6‬מים‬
‫‪0.0‬‬
‫‪-0.2‬‬
‫‪0.8‬‬
‫‪0.0‬‬
‫‪0.4‬‬
‫‪Group factor‬‬
‫‪-0.4‬‬
‫‪General factor‬‬
‫‪0.4‬‬
‫תלות בין פריטים‬
‫• שארית המתאמים בין פריטים‬
‫– ההפרש בין המתאם הנצפה למתאם הצפוי על‪-‬פי מודל‬
‫נתון‬
‫– מהווה מדד לתלות מקומית בין פריטים‬
‫• מודלים שונים מובילים למתאמים צפויים שונים‬
‫• בפרט‪ ,‬המודל הדו גורמי עשוי להסביר שאריות‬
‫בלתי מוסברות מהמודל החד גורמי‬
‫שאריות גבוהות מהמודל החד גורמי‬
First item
Item
Subject
3b
1
3b
1
7
2
9b
2
9b
2
10a
2
10a
2
10a
2
10b
2
10b
2
12c2
2
21b
4
25a2
4
27
5
28
6
Second item
Item
Subject
1
1
3a
1
6
2
6
2
7
2
6
2
7
2
9b
2
7
2
10a
2
12c1
2
21a
4
25a1
4
26
5
26
5
Residuals
1-factor Bi-factor
.23
.02
.33
.03
.37
.03
.24
-.01
.27
.02
.25
-.05
.33
.05
.20
.00
.23
.04
.37
.21
.36
.33
.25
.20
.21
.03
.21
.00
.23
.23
‫דוגמא לשאריות גבוהות‬
‫השוואת המודל החד ודו גורמי‬
‫•‬
‫•‬
‫•‬
‫•‬
‫התאמת המודל החד גורמי טובה‪ ,‬אך‪...‬‬
‫התאמת המודל הדו גורמי טובה יותר‬
‫ברוב המקרים טעינות הפריטים בגורם הנושא היא‬
‫משמעותית‬
‫המודל הדו גורמי מסביר את רוב מקרי התלות‬
‫המקומית בין פריטים‬
‫השלכות לניתוח הדו גורמי‬
‫• תכנון המבחן‬
‫• פיתוח פריטים‬
‫• ציינון המבחן‬
‫סיכום‬
‫• במבחן רחב הקף‪ ,‬יתרונות לניתוח מבנה המבחן‬
‫• מגבלות‬
‫– נוסח אחד בלבד‬
‫– מספר פריטים מועט‬