Kommentierter SPSS-Output für die multiple Regressionsanalyse

R.Niketta
Multiple Regressionsanalyse
Kommentierter SPSS-Output für die multiple Regressionsanalyse (SPSS-Version 17)
Daten: Selbstdarstellung und Kontaktsuche in studi.VZ (POK VIII, AG 3)
Fragestellung: Inwieweit wird das Motiv der Kontaktsuche über studi.VZ (F29_SUCH) durch folgende Prädiktoren beeinflusst:
−
Äußerliche Merkmale auf den Homepages (Items „Das Profilfoto ist mir sehr wichtig“, „Die Fotos, auf denen die Person verlinkt ist, sind mir
sehr wichtig“) (V14_FOTO)
−
Aspekte der Offenheit in der Selbstdarstellung (V32_OFF)
−
Statusaspekte in der Selbstdarstellung (V32_STAN)
−
Initiierung von Interaktionen und Beziehungen als soziale Kompetenz (ICQ_1)
Nach dem Klicken von “Regression” und “Linear” öffnet sich das
Fenster rechts. Hier geben Sie Kriteriumsvariable (Abhängige
Variable) und die Prädiktorvariablen (Unabhängige) ein:
Über „Statistiken“ sollten Sie zusätzlich folgende Statistiken
aufrufen:
Deskriptive Statistik: Sie erhalten einen Überblick über die
Kennwerte der Variablen, die Gesamtzahl der in der Analyse
einbezogenen Fälle und die Korrelationsmatrix der Variablen.
T eil- und partielle Korrelationen: Sie geben Auskunft über die
Überlappungen (Schnittmengen, im Sinne von VennDiagrammen) der Variablen. Die teilpartielle Korrelation kann
verwendet werden, um die erklärte Varianz eines einzelnen
Prädiktors zu berechnen.
Kollinearitätsdiagnose: Die Kennwerte (T oleranz, VIF) sind
wichtig, um die Multikollinearität der Prädiktoren abzuschätzen.
Fallweise Diagnose: Kann für die Entdeckung von Ausreißern
und einflussreichen Fällen wichtig sein.
Durbin-Watson: Überprüft, ob die Daten unabhängig sind.
Dies kann bei hierarchischen Designs (z.B. Schule, Klasse,
Schüler) oder bei Messwiederholungsdesigns wichtig sein.
Verletzungen dieser Voraussetzungen sind in der Regel
schwerwiegend. Von einer Unabhängigkeit der Daten kann
aber bei Umfragen ausgegangen werden, so dass der Koeffizient nicht relevant ist.
Änderungen in R-Quadrat: Nur wichtig bei sequenziellen
Regressionsanalysen.
Bei „Diagramme“ sollten Sie zur
Überprüfung der Voraussetzungen
folgende Diagramme aufrufen:
−
Streudiagramm zwischen dem
standardisierten vorausgesagten
Kriterium (ZPRED auf der XAchse) und den standardisierten
Residuen (ZRESID auf der YAchse). Dieses Diagramm dient
der Überprüfung der Linearität
und
der
Varianzhomogenität
(„Homoskedastizität“)
−
Histogramm
und
Normalverteilungsdiagramm
dienen
der
Überprüfung
der
Normalverteilung. Diese wird an den
Residuen überprüft.
Zur Überprüfung von Ausreißern und einflussreichen Fällen können
folgende Variablen gespeichert werden:
−
Distanzen: Mahalanobis, Cook’sche Distanz und Hebelwerte.
Mahalanobis ist ein multivariates Distanzmaß. Die Cook’sche
Distanz gibt den Einfluss eines Wertes auf die Regressionsgleichung
an, wenn der jeweilige Fall von der Berechnung ausgeschlossen
wird. Hohe Veränderungen werden durch ein hohen Distanz-Wert
angezeigt. Die Hebelwerte weisen auf extreme Werte bei den
Prädiktoren hin.
−
Einflussstatistiken: Die standardisierten DfBeta-Werte geben den
Einfluss eines Falles für jeden Prädiktor getrennt an.
Die Werte werden von SPSS berechnet und an das Ende der Datenmatrix eingefügt. Sie stehen dann als neue Variablen zur Verfügung.
Unter Optionen“ kann u.a. auch die Behandlung fehlender Werte bestimmt werden. Die Voreinstellung ist „listenweiser Fallausschluss“,
d.h. ein Fall wird aus den Berechnungen ausgeschlossen, wenn dieser auf einer Variablen einen fehlenden Wert aufweist.
Es folgen die T abellen der SPSS-Ausgabe:
Zur Kontrolle: Deskriptivstatistiken aller Variablen.
Die Skalen sind in Richtung der Labels gepolt. V29_SUCH,
V14_FOTO, V32_OFF , V32_STAN sind 6er-Skalen. ICQ_1
reicht von -3 bis +3.
Korrelationsmatrix.
Wichtig: Es können die Interkorrelationen der Prädiktoren abgelesen werden. Günstig: Hohe
Korrelationen der Prädiktoren mit dem
Kriterium, geringe Korrelationen der
Prädiktoren untereinander .
Die Korrelationen mit dem Kriterium
deuten eine nur geringe erklärte Varianz an. Auch scheinen die Prädiktoren unterschiedlich bedeutsam sein.
(Die vollständigen Signifikanzwerte
wurden weggelassen)
R ist die multiple Korrelation des Kriteriums mit allen Prädiktoren. Die
multiple Korrelation ist nichts anderes als die einfache Korrelation r der
vorhergesagten Werte mit den beobachteten Werten.
R-Quadrat ist die erklärte Varianz und eines der wichtigsten Werte in der
Regressionsanalyse. Der Wert ist mit .126 nicht gerade sehr gut, d.h. 13 %
der Varianz der Kriteriumsvariablen wurden durch die vier Prädiktoren aufgeklärt. 87 % sind unbekannt. Korrigiertes R Quadrat ist eine Korrektur
(Schrumpfung), in die die Zahl der Merkmalsträger und Prädiktoren eingehen. Sie dient der besseren Schätzung der Population. Die Qualität dieser
Berechnung ist aber umstritten.
Das aufgestellte Modell erklärt also 13 % der Varianz.
Vorsicht: Man kann R² künstlich durch die Zahl der Prädiktoren erhöhen, da
R² nie kleiner werden kann, wenn die Zahl der Prädiktoren steigt.
Der Standardfehler wird für die inferenzstatistische Absicherung der Modells
benötigt.
Die Varianzanalyse berechnet das Verhältnis von erklärter
(Regression) zur nicht erklärten (Residuen) Varianz. Der FT est ist ein Signifikanztest. Der F-Wert ist mit einem p-Wert
von < .001 statistisch signifikant. Das vorliegende Modell
kann also gegen den Zufall abgesichert werden. Das Modell
stammt also nicht aus einer Population mit den
Regressionskoeffizienten = 0.
Vorsicht: Ob ein Modell statistisch signifikant wird, hängt
u.a. vom N der Merkmalsträger ab.
SPSS gibt alle weiteren Kennwerte in einer einzigen T abelle aus. Zur besseren Kommentierung wird diese T abelle in Bereiche aufgeteilt.
Die Koeffizienten für die einzelnen Prädiktoren.
In der Spalte „RegressionskoeffizientB“ stehen die
Regressionskoeffizienten b. Die Regressionsgleichung
lautet also:
V29_SUCH = 1.582 + 0.201 * V14_FOTO – 0.094 *
V32_OFF + 0.178 * V32_STAN – 0.128 * ICQ_1
Die Standardfehler der Koeffizienten werden zum Signifikanztest benötigt. Über diesen Standardfehler lässt sich
das Vertrauensintervall bestimmen (bei 95 % -Sicherheit).
Das Intervall hängt u.a. vom Standardfehler ab und somit
vom N, das hier 496 beträgt.
Beta sind die standardisierten Regressionskoeffizienten.
Sie sagen innerhalb des Modells über den jeweiligen Beitrag des Prädiktors zur Varianzaufklärung etwas aus.
Äußere Aspekte spielen in diesem Modell die wichtigste
Rolle zur Erklärung der Kontaktsuche., gefolgt von der
statusorientierten Selbstdarstellung.
Die beta-Koeffizienten sind also zentral für die Interpretation des Einflusses der jeweiligen Variablen. Die bKoeffizienten werden zur Vorhersage benötigt, ein Vergleich zwischen den Prädiktoren ist aber wegen der unterschiedlichen Skalenbreiten nicht sinnvoll. Allerdings muss
beachtet werden, dass die beta-Koeffizienten wegen der
relativen Transformation (Standardisierung) von der
jeweiligen Stichprobe abhängen; dies ist bei den
Regressionskoeffizienten nicht der Fall; diese können
zwischen Stichproben verglichen werden.
Die t-Tests prüfen jeden einzelnen
Prädiktor auf statistische Signifikanz.
Im vorliegenden Fall können
V14_FOTO, v32_STAN und ICQ_1
auf dem 5 %-Signifikanzniveau abgesichert werden.
Die Korrelationsspalten geben die drei unterschiedlichen Korrelationskoeffizienten wieder:
Die Korrelation Nullter Ordnung ist die einfache Korrelation
zwischen der einzelnen Prädiktorvariablen und der
Kriteriumsvariablen. Die einfache Korrelation zwischen
V14_FOTO und V29_SUCH beträgt also 0.297.
Die partielle Korrelation ist die Korrelationen zwischen der
einzelnen Prädiktorvariablen und der Kriteriumsvariablen,
nachdem die gemeinsamen Varianz (der Überlappungsbereich in einem Venn-Diagramm) „herauspartialisiert“
wurde, also der „reine“ Einfluss des einzelnen Prädiktors
unter Kontrolle der anderen Prädiktoren. Die Partialkorrelation wird aber eher im Rahmen einer Korrelationsanalyse und nicht einer Regressionsanalyse interpretiert.
Die T eilkorrelation (Semi-Partial-Korrelation) erfasst auch
den „reinen“ Einfluss des einzelnen Prädiktors, allerdings
wird der gemeinsame Varianzanteil nur aus den anderen
Prädiktoren herauspartialisiert.
Werden die Semi-Partial-Korrelationen quadriert, erhält man
den Anteil des einzelnen Prädiktors an der erklärten Varianz:
V14_FOTO = 0.23² = 0.053
V32_OFF = -0.054² = 0.003
V32_STAN = 0.162² = 0.026
ICQ_1 = -0.097² = 0.009
Die Partialkorrelationen und die beta-Koeffizienten sind
kleiner als die einfachen Korrelationen. Dies deutet den
Überlappungsbereich der gemeinsamen Varianz an. Dieser
kann wie folgt berechnet werden (vgl. Warner , 2008,
S. 428):
Gemeinsamer Bereich = 1 – (0.874 [= 1 - r²] + 0.053 +
0.003 + 0.026 + 0.009 = 0.035.
Im Prinzip ist die Regressionsanalyse beendet. Im Folgenden geht es um das Problem, ob Ausreißer oder einflussreiche Fälle das Ergebnis beeinflussen. Weiterhin wird das Vorliegen von Multikollinearität geprüft. Anschließend sollen die Voraussetzungen überprüft werden, die mit den Prüfverteilungen bei der statistischen Absicherung gegeben sind.
Die T abelle der fallweisen Diagnose zeigt drei Fälle mit
standardisierten Residuen (= z-Werte) über 3.0. Die
Differenzen zwischen vorhergesagten und beobachteten
Werten sind beachtlich. Dies bedeutet aber noch lange nicht,
dass diese drei Fälle das Regressionsergebnis beeinflussen.
Werden diese drei Fälle bei einer nochmaligen Regressionsanalyse entfernt, dann sinkt allerdings in diesem Fall r² von
0.126 auf 0.109! Der ICQ_1-Prädiktor ist dann nicht mehr
statistisch signifikant.
In der T abelle der Residuenstatistik interessieren hier nur die
letzten drei Spalten.
Der Mittelwert der Mahalanobis-Abstände geht in Ordnung,
Sorgen macht aber das Maximum von 27.639. Nach einer
T abelle der kritischen Werte in Stevens (2009, S. 108, auch
ältere Auflagen) beträgt der kritische Wert bei einem N =
500, bei 4 Prädiktoren und einem alpha = 5 % 23.06. Dieser
Wert wird überschritten.
Ein einflussreicher Fall gemäß der Cook’schen Distanz liegt
vor , wenn der Wert > 1 ist. Dies ist auf der anderen Seite
nicht der Fall.
Nach der „Daumenregel“ nach Urban & Mayerl (2006,
S. 188) liegt bei dem zentrierten Hebelwert, der extreme
Werte bei den Prädiktoren erfasst, der Kriteriumswert bei (3
* Zahl der Prädiktoren)/N. Im vorliegenden Fall beträgt das
Kriterium 0.024. Mit 0.056 liegt mindestens ein Fall über
diesem Kriterium. Ein Inspektion der Daten zeigt, dass 20
Fälle über 0.024 liegen, also extreme Werte aufweisen.
Während die Cook’sche Distanz ein globaler Wert ist, geben
die DFBETA-Werte die einflussreichen Fälle für jeden
Prädiktor gesondert aus, sie werden von SPSS in die Daten-
matrix eingefügt, aber nicht gesondert ausgegeben. Der
kritische Wert liegt bei > |2| (vgl. Stevens, 2009, S. 110).
Eine Inspektion der Werte zeigt aber , dass der maximale
Wert bei 0.4 liegt. Einflussreiche Fälle liegen also nicht vor .
Die T abelle gibt auch weiterhin die Kollinearitätsstatistik aus.
mit der die Multikollinearität überprüft werden kann. Die
besten Prädiktoren sind orthogonal zueinander , d.h. es bestehen keine linearen Korrelationen. Dies ist selten der Fall.
Multikollinearität hat aber einen großen Einfluss auf den
Standardfehler , der dann unter Umständen sehr anwächst.
Die Lösungen werden sehr instabil. Inwieweit lassen sich
lineare Abhängigkeiten unter den Prädiktoren tolerieren?
Der Toleranzwert ist daher für die Kollinearitätsdiagnose
wichtig: (1 - Ri2 ), d.h. 1 - der multiplen Korrelation des
jeweiligen Prädiktors mit den anderen Prädiktoren. Eine
geringe T oleranz weist auf lineare Abhängigkeiten mit
anderen Prädiktoren hin. VIF (variance inflation factor) baut
auf TOLERANCE auf. Im Falle der Unabhängigkeit ist er 1, er
steigt mit wachsender linearer Abhängigkeit. Hier ist VIF
nahe bei 1, d.h. es gibt nur geringe Anzeichen auf Kollinearität.
Urban & Mayerl (2006, S. 232) empfehlen als „Daumenregel“, dass der T oleranzwert nicht unter 0.25 sein sollte,
und der VIF-Wert sollte nicht über 5.0 gehen.
SPSS gibt noch eine weitere Kollinearitätsstatistik aus, die
auf einer Hauptkomponentenanalyse beruht. Die Ergebnisse
sind nicht immer eindeutig und lassen sich schwer interpretieren. Auf sie soll daher nicht eingegangen werden.
Beide Diagramme überprüfen an den
Residuen, ob Normalverteilung vorliegt.
Das Histogramm links zeigt nur leichte
Abweichungen von der Normalverteilung.
Im P-P-Diagramm werden die beobachteten gegen die erwarteten
standardisierten Residuen geplottet. Bei
Normalverteilung müssten die Werte auf
der eingezeichneten Diagonalen liegen.
Dies ist der Fall. Eine der Voraussetzungen ist also erfüllt. Im Übrigen sind
Abweichungen von der Normalverteilung
nicht sehr schwerwiegend.
Dieses Diagramm überprüft die Linearitätsannahme und die
Homoskedastizität, also die Homogenität der Varianzen. In
beiden Fällen müssten die Werte zufällig streuen, es sollte
kein Muster erkennbar sein.
Während von einer Linearität ausgegangen werden kann,
zeigt sich ein nach rechts größer werdender „ Trichter“. Dies
deutet eine Verletzung der Varianzhomogenität an: Hohe
Werte der Kontaktsuche (X-Achse) können weniger gut vorhergesagt werden als niedrige Werte. Verletzungen dieser
Annahme der Varianzhomogenität sind aber nicht schwerwiegend (vgl. T abachnick & Fidell, 2007, S. 85, 127)
Weiterhin kann gefragt werden, in welchem Konfidenzintervall der Determinationskoeffizient R² liegt. T abachnick &
Fidell (2007, S. 150f) weisen auf ein Programm R2 von
Steiger & Fouladi hin, das ihrem Buch beiliegt, aber auch
über folgende Adresse frei heruntergeladen werden kann:
http://www.statpower .net/Software.html
Im vorliegenden Fall liegt R² zwischen 0.071 und 0.179.
Ein weiteres Problem betrifft die Generalisierung der Ergebnisse, gerade wenn die Prädiktoren eher unsystematisch
oder schrittweise ausgesucht worden sind. Dann müssen die
Ergebnisse kreuzvalidiert werden.
Wenn eine Kreuzvalidierung, d.h. eine Aufteilung der Stichprobe in zwei Hälften nach dem Zufall nicht möglich ist,
bietet sich an, einen adjustierten R²-Koeffizienten zu berechnen.
Stevens (2009, S. 96) empfiehlt nicht das adjustierte R² nach
der Formel von Wherry, das von SPSS ausgegeben wird.
Stevens folgt dem Vorschlag von Herzberg, die Formel von
Stein zu übernehmen. Ein kleines DOS-Programm HERZBERG
berechnet den adjustierten R²-Wert. Dieser beträgt 0.1099.
Das von SPSS ausgegebene R² ist 0.119.
Literatur:
Stevens, J. P . (2009). Applied multivariate statistics for the social sciences (5. Aufl.). New York: Routledge.
T abachnick, B. & Fidell, L. S. (2007). Using multivariate statistics (5. Aufl.). Boston: Pearson Allyn & Bacon.
Urban, D. & Mayerl, J. (2006). Regressionsanalyse: Theorie, T echnik und Anwendung (2. Aufl.). Wiesbaden: VS Verlag für Sozialwissenschaften.
Warner , R. M. (2008). Applied statistics: from bivariate through multivariate techniques. Thousand Oaks, CA: Sage.