Dokumentvorlage für Dissertationen u.ä.

Transcription

Aus der Abteilung Innere Medizin II, Rheumatologie der Schlosspark-Klinik Berlin, akademisches Lehrkrankenhaus der Charité – Universitätsmedizin Berlin, Mitglied des Regionalen Rheumazentrums Berlin von B. Schacher und R. Alten
Projektbericht
Einsatz von EDV-Dokumentationssystemen in
der rheumatologischen Patientenversorgung Anwendungserprobung und UsabilityVergleich der Softwaresysteme Ardis, Documed.rh und Rheumadok
Ein von der Arbeitsgemeinschaft der Kooperativen Rheumazentren gefördertes Projekt zur
Verbesserung der Versorgungsqualität in der Rheumatologie
Abstract
Studieninhalt und -methoden: In dieser Untersuchung wurden 351 Patienten und insgesamt 12 dokumentierende Anwender zu ihren Erfahrungen mit drei verschiedenen Software-Programmen zur Dokumentation rheumatologischer Patienten- und Behandlungsdaten (Ardis, Documed.rh, Rheumadok) befragt. Dafür wurden die Anwender zunächst im Einsatz der Programme zur Erhebung eines Kerndatensatzes (KD2006) nach einem festen
Schema geschult. Danach dokumentierten sie im Rahmen der Studie mit jedem der Programme die Kerndatensätze von jeweils ca. 120 Patienten auf einem Laptop (Einzelplatzversionen der Softwarelösungen). Die Patienten wurden hierbei gebeten, die Patienten-Selbstbeurteilung (Self-Assessment) des Kerndatensatzes sowohl auf
Papier als auch mit einem der Programme zu bearbeiten. Währenddessen und im Anschluss an die Bearbeitung
wurden von den Patienten Evaluationsfragebögen über ihre Erfahrungen und ihre Präferenz bezüglich der verschiedenen Medien erhoben. Weiterhin konnten wir Daten zur Erfahrung mit Informationstechnologie (IT) bei
Patienten und Anwendern und zu Computer-Aversion bei den Patienten gewinnen.
Untersuchungsziel: Durch die im Cross-Over-Design durchgeführte Doppeldokumentation der AssessmentInstrumente der KD2006 (u.a. NRS Schmerz, NRS Gesundheitszustand, FFbH etc.) sollte neben der Ermittlung
einer Nutzerpräferenz der Patienten auch die Validität und Qualität der elektronisch gewonnenen Daten überprüft
werden. Die geschulten Anwender sollten mittels eines standardisierten Software-Ergonomie-Fragebogens
(ISONORM 9241/10) zu ihren Erfahrungen mit der jeweiligen Software befragt werden (Usability-Analyse),
nachdem sie eine Mindestzahl von Dokumentationsvorgängen abgeschlossen hätten.
Ergebnisse: Es zeigte sich eine im Vergleich zur Papierversion verbesserte Datenqualität bei gleichzeitig guter
Vergleichbarkeit der Ergebnisse (Validität) im Bezug auf die selbstständige Erhebung der Patienten-Assessments
am PC. Weiterhin ließ sich eine Präferenz der Mehrheit der Patienten zu Gunsten des Computer-Einsatzes bei
den Assessments zeigen, wobei einzig Personen mit Computer-Aversion die Papier-Methode aktuell und Zukunft
bevorzugten. Die Befragung der dokumentierenden Anwender zeigte eine leichte Überlegenheit der Programme
Documed.rh und Rheumadok bei der Befragung mittels ISONORM 9241/10-Fragebogen. Die Ursachen hierfür
sind aber am ehesten methodisch bedingt. Direkte Schlüsse auf eine überlegene Benutzerfreundlichkeit (Usability) für den Einsatz der Programme in anderen Kontexten sind daher aus unserer Sicht nicht zulässig.
Schlussfolgerung: Die drei getesteten Dokumentationsprogramme können unter Anleitung direkt durch die
Patienten bearbeitet werden und liefern valide Daten bei besserer Datenqualität als die Papierversionen. Mit
Ausnahme der Patienten mit einem hohen Grad von Computer-Aversion wird diese Methode gut angenommen
und von den Patienten gegenüber der Papier-Version bevorzugt. Die Usability-Analyse der Programme durch
geschulte Anwender bescheinigte allgemein positive Werte bei kleinen Differenzen in einzelnen Dimensionen.
Die Verbesserung des Krankheitsmonitorings durch sofortige und regelmäßige Auswertungen valider, durch die
Patienten weitgehend selbsständig erhobener Daten ist mit der hier vorgestellten Software möglich.
Schlagwörter:
Dokumentationssoftware, Kerndokumentation, Assessment, Usability-Vergleich, Ardis, Documed.rh,
Rheumadok, ISONORM 9241/10
3
Inhaltsverzeichnis
Inhaltsverzeichnis
5
Abkürzungsverzeichnis
7
1
Einführung
9
1.1
Benutzerfreundlichkeit (Usability)
10
1.2
Problemstellung: Software und Benutzergruppen
11
1.3
Studienziele
13
2
Versuchsteilnehmer und Methoden
14
2.1
Anwendergruppen
14
2.1.1
„Professionelle“ Anwender
14
2.1.2
Patienten
15
2.2
2.3
Versuchsablauf
18
2.2.1
Anwender
18
2.2.2
Patienten
18
Untersuchungsmethoden/Messinstrumente
19
2.3.1
Hardware
19
2.3.2
Software
20
2.3.3
Befragung der Anwender
21
2.3.4
Erhebung des Kerndokumentationsdatensatzes
23
2.3.5
Befragung der Patienten
25
2.4
Auswertung
27
3
Ergebnisse
28
3.1
Ergebnisse der ISONORM-Befragung der Anwender
28
3.2
Kommentare der Anwender zur Software
30
3.2.1
Ardis
30
3.2.2
Documed.rh:
31
3.3
Patientenbefragung
32
3.3.1
Werte der Patientenselbstbeurteilung im Vergleich
32
3.3.2
Datenqualität im Methodenvergleich
40
3.3.3
Nutzerpräferenz der Patienten
40
3.3.4
Einfluss von IT-Erfahrung und Computer-Aversion auf das Antwortverhalten der
Patienten zur Methodenpräferenz
45
3.3.5
49
Hilfestellungsfrequenz bei der Bearbeitung des PC-KD-Bogens
5
3.3.6
Zeit der Bearbeitung des PC-KD-Bogens
3.3.7
Patienteneinschätzung zu Aspekten der Internetsicherheit und Internetnutzung in
der Patientenbetreuung
50
50
Diskussion
53
3.4
Diskussion der Studienplanung
53
3.5
Diskussion der Studiendurchführung
56
3.6
Diskussion der Studienergebnisse
57
3.6.1
Der ISONORM-Fragebogen
57
3.6.2
KD2006-Daten: Validität und Qualität im Vergleich
57
3.6.3
Nutzerpräferenz
58
3.6.4
Wahrnehmung der hier eingesetzten Medien und des Internet durch die befragten
Patienten 58
4
Zusammenfassung
59
Danksagung
60
Abbildungsverzeichnis
61
Literaturverzeichnis
63
Anhang I
65
Anhang II
67
Anhang III
70
Anhang IV
71
Anhang V
72
Anhang VI
76
Anhang VII
77
Anhang VIII
79
Anhang IX
80
Anhang X
81
6
Abkürzungsverzeichnis
ACR
Rheumatologische Fachgesellschaft der USA (American College of Rheumatology)
AGRZ
Arbeitsgemeinschaft Regionaler Kooperativer Rheumazentren
BASDAI, BASFI
Bath ankylosing spondylitis disease activity index / functional index
BildschArbV
Bildschirm-Arbeitsplatz-Verordnung
bspw.
beispielsweise
bzgl.
bezüglich
bzw.
beziehungsweise
CARS
computer anxiety rating scale
ca.
circa
CRP, hs-CRP
C-reaktives Protein, hoch-sensitives CRP
DAS-28
Krankheitsaktivität-Index an 28 Gelenken (engl. Disease Activity-Score 28)
DGRh
Deutsche Gesellschaft für Rheumatologie
d.h.
das heißt
DRFZ
Deutsches Rheuma-Forschungszentrum
EDC
electronic data capturing
DIN
Deutsches Institut für Normung
engl.
englisch
etc.
et cetera
EULAR
Europäische Liga gegen Rheumatismus (engl. European League Against Rheumatism)
FFbH
Funktionsfragebogen Hannover
h
Stunde
HAQ
health assessment questionaire
GH
allgemeiner Gesundheitszustand (engl. global health)
i.S.
im Sinne
ISO
Internationale Organisation für Normung
KD
Kerndokumentation
LJ
Lebensjahr(e)
7
m, mm, μm
Meter, Millimeter, Mikrometer
MS
Microsoft
NRS
numerische Rating-Skala
SF-12
„short form 12“, Kurzform des SF-36-Funktionsindex
sog.
sogenannt, sogenannte
spez., Spez.
spezifisch, Spezifität
Std., STD
Standard (Abweichung), Standardabweichung (engl. Standard Deviation)
u. a.
unter anderem
usw.
und so weiter
VAS
visuelle Analog-Skala
V.a.
Verdacht auf
z. B.
zum Beispiel
Z. n.
Zustand nach
8
1
Einführung
In der ambulanten und stationären rheumatologischen Versorgung werden zur Dokumentation von klinischen
Befunden, der Patientenselbstbeurteilung und zur Berechnung krankheitsspezifischer Kennzahlen (engl. „Scores“) Dokumentationsinstrumente eingesetzt. Mittlerweile geschieht dies bereits in einigen Kliniken und Praxen
in
„elektronischer“
Form
(engl.
„electronic
data
capturing”,
EDC),
d.h.
mittels
geeigneter
Informationstechnologie (IT). Dabei möchte man sich Vorteile moderner IT im Kontext der Patienteversorgung
nutzbar machen. Mögliche Vorteile sind beispielsweise:
•
Reduktion der papiergebundenen Dokumentation,
•
ubiquitäre und unmittelbare Verfügbarkeit systematisierter Datenbestände,
•
einfacher Datenaustausch und
•
Automatisierung 1-3.
Gerade die in der Rheumatologie übliche standardisierte Erfassung von Befunden und klinischen Parametern,
wie des rheumatologischen Gelenkstatus, der typischen Komorbiditäten, krankheitsspezifischer Aktivitätsindices, sowie der Erhebung des bisherigen Therapieverlaufs lässt sich relativ gut in elektronischer Forn abbilden
und auswerten. Darüberhinaus werden in der Rheumatologie Patientenfragebögen eingesetzt, die sich als Therapieerfolgs- und Verlaufsparameter durchsetzen konnten (Outcome-Messungen/Self-Assessment). Eine ITUmsetzung kann deutliche Erleichterungen bei deren Erfassung und Auswertung bieten 4.
Seit ca. 10 Jahren wurde durch die Entwicklung und zunehmende Verbreitung von geeigneter Software in der
Rheumatologie ein Markt etabliert, auf dem die Orientierung aufgrund fehlender Standardisierung und objektiver
Vergleiche schwer fällt. Hierzu zählen im deutschsprachigen Raum die Programme ARDIS, Documed.rh, Rheumadok, Emil und als web-basierte Anwendung Rheumascores. Zum Planungszeitpunkt der vorliegenden Untersuchung befanden sich die drei erstgenannten in einem Entwicklungszustand, die eine Distribution an interessierte Praxen und Kliniken ermöglichten und wurden für den Einsatz in diesen Einrichtungen angeboten. Trotz ganz
unterschiedlicher Entwicklungsgeschichte, technischer Umsetzung und Zielsetzung sind alle drei Programme
grundsätzlich für den gleichen Einsatz geeignet, neben der Dokumentation rheumatologischer Befunde insbesondere zur Erhebung der Daten zur Übermittlung an die Kerndokumentation der regionalen Rheumazentren 5.
Die Chancen und Risiken, die sich durch den Einsatz von IT in der Patientenversorgung bieten werden dabei von
den verschiedenen am Prozess beteiligten Personen sehr unterschiedlich wahrgenommen. Ob und in welcher
Weise der Einsatz von Informationstechnologie in der Lage ist, eine Verbesserung der Versorgungssituation
rheumatologischer Patienten in Praxis und Klinik herbeizuführen, kann daher kaum einheitlich beantwortet werden. Aus verschiedenen Anwenderprofilen und Arbeitsumgebungen ergeben sich ganz unterschiedliche Anforderungen an die eingesetzte Software.
Eine der Vorraussetzungen zum Vergleich verschiedener IT-Systeme in dieser Untersuchung ist es daher, ein
definiertes Anforderungsprofil in einer definierten Arbeitsumgebung zu schaffen. Dabei nahmen wir die bisherige Dokumentation unserer Einrichtung als Basis für die Definition des Anforderungsprofils. Darauf aufbauend
wurden dann die Anwender- und Patientenzufriedenheit bzgl. der Benutzerfreundlichkeit („Usability“) bei der
Datenerhebung im klinischen Alltag verglichen. Aspekte die für die meisten Anwender im Alltag verborgen
9
bleiben, wie die technische Umsetzung (Datensicherheit, Stabilität, Skalierbarkeit etc.), finanzielle Aspekte und
Möglichkeiten zur Datenübertragung und -auswertung sollten dabei nicht in den Vergleich eingehen.
Da die Benutzerfreundlichkeit der Softwaresysteme (engl. „Usability“) das zentrale Kriterium für unser Projekt
darstellt, soll dieser Begriff im Zusammenhang mit moderner IT einleitend kurz erläutert werden.
1.1
Benutzerfreundlichkeit (Usability)
Der Begriff Anwender- oder Benutzerfreundlichkeit ist keine Erfindung des Computerzeitalters und wird in der
Definition der Online-Enzyklopädie Wikipedia so beschrieben:
„Benutzerfreundlichkeit (auch „Benutzungsfreundlichkeit“) bezeichnet die vom Nutzer erlebte Nutzungsqualität bei der Interaktion mit einem System. Eine besonders einfache, zum Nutzer und seinen
Aufgaben passende Bedienung wird dabei als benutzerfreundlich angesehen.“
Der Anteil der Bildschirmarbeit im Arbeitsleben von Krankenhausmitarbeitern steigt beständig an. Damit kommt
nicht nur der ergonomischen Gestaltung von Arbeitsplatz und Hardware, sondern auch der Software-Ergonomie
eine wachsende Bedeutung zu. Ist die Software benutzungsfreundlich gestaltet, entstehen geringere psychische
Belastungen für den Benutzer/-in, und dies wirkt sich positiv auf die Effektivität und Effizienz der SoftwareNutzung aus.
Dieser gestiegenen Relevanz trägt auch die Bildschirmarbeitsverordnung (BildschArbV) Rechnung, die in ihrem
Anhang (Nr. 20-22) Grundsätze der Software-Ergonomie darlegt. Die Erfüllung dieser Anforderungen ist seit
Ende 1996 für neu eingeführte Programme und ab 1.1.2000 generell für alle Programme bindende Gesetzesvorschrift. Ähnlich wie in der BildschArbV, aber etwas präziser sind die Grundsätze der ergonomischen Gestaltung
von Software in der Norm "Grundsätze der Dialoggestaltung" formuliert.
Die 7 Grundsätze für die Gestaltung und Bewertung einer Schnittstelle zwischen Benutzer und System (Dialoggestaltung) nach DIN EN ISO 9241 Teil 110 lauten:
1.
Aufgabenangemessenheit – geeignete Funktionalität, Minimierung unnötiger Interaktionen
2.
Selbstbeschreibungsfähigkeit – Verständlichkeit durch Hilfen / Rückmeldungen
3.
Steuerbarkeit (Dialog) – Steuerung des Dialogs durch den Benutzer
4.
Erwartungskonformität – Konsistenz, Anpassung an das Benutzermodell
5.
Fehlertoleranz – erkannte Fehler verhindern nicht das Benutzerziel, unerkannte Fehler können leicht korrigiert werden
6.
Individualisierbarkeit – Anpassbarkeit an Benutzer und Arbeitskontext
7.
Lernförderlichkeit – Anleitung des Benutzers, minimale Erlernzeit
Experten schätzen, daß 80 Prozent der in Deutschland benutzten Software nicht den Vorgaben der Bildschirmarbeitsverordnung zur Software-Ergonomie entspricht. Aus Sicht von Käufern wie Anwendern von Software stellt
sich somit die Frage, wie die software-ergonomische Qualität zuverlässig geprüft werden kann, wenn neue Software beschafft oder selbst entwickelt wird oder bereits im Einsatz befindliche Software im Rahmen einer „Gefährdungsbeurteilung“ getestet werden soll. Derzeit gibt es keine allgemein anerkannte Methodik zur Prüfung
der Software-Ergonomie, die Norm (wie auch die BildschArbV) stellt zwar Grundsätze der Dialoggestalung zur
10
Verfügung. Nur sind diese Grundsätze so allgemein formuliert, daß sie nicht als Prüfkriterien in Betracht kommen. Die Maße eines läßt sich leicht Werkzeugs lassen sich feststellen, aber wie überprüft man die Aufgabenangemessenheit eines Personalverwaltungsprogramms?
Hinzu kommt, dass sich im Zeitalter des Internet die Vorstellung, die Anwender von der Benutzerfreundlichkeit
eines Produkts und insbesondere eines Softwaresystems haben, stetig und nachhaltig wandelt. Die sog. „User
Experience“ beschreibt, dass intuitive und emotionale Aspekte des gesamten Nutzungserlebnisses berücksichtigt
werden müssen. Jakob Nielsen, schreibt in seinem Buch zum Thema „Web-Usability“ (also der Anwenderfreundlichkeit von Internet-Seiten, engl. „web-sites“) in der Einleitung 6:
„.Im E-Commerce hat die Usability eine viel größere Bedeutung als in der traditionellen Wirtschaft.
Beim traditionellen Erwerb von Produkten kamen die Kunden vor Kauf und Bezahlung eines Produkts
gar nicht dazu, dessen Brauchbarkeit festzustellen. …Die Software-Industrie zeigt an der Verbesserung
der Benutzerfreundlichkeit etwas mehr Interesse als die Hersteller physisch vorhandener Produkte. Im
Softwarebereich gibt es gewöhnlich ein Support-Center, das die Kunden bei Problemen anrufen können.
…Das Web zeigt die Kehrseite der Medaille. Jetzt erleben die Anwender die Benutzerfreundlichkeit einer
Site, bevor sie sich entscheiden, mit dieser Site zu arbeiten und bevor sie Geld ausgeben.“
Er begründet auf diese Weise, warum es bei der erfolgreichen Einführung einer jeglichen Dienstleistung im Internet essentiell ist, die Zufriedenheit der Benutzer nicht außer Acht zu lassen. Design-Fehler entsprechen hier
„entgangenen Geschäften“, der Erfolg des Projekts schwindet.
Die Erwartungen der Benutzer unterliegen im Internet-Zeitalter dabei einem stetigen Wandel. J. Nielsen schreibt:
„Diese [Kunden/Anwender] messen ihre Erwartungen an einen Internet-Auftritt nur an dem Besten, was das
Web zu bieten hat.“ Dabei werden die Anwender immer weniger über die technischen Aspekte einer Seite wissen
müssen, um diese erfolgreich benutzen zu können. Gleichzeitig sind sie gewohnt bestimmte Konventionen bei
der Bedienung wiederzufinden, was Ihnen eine erfolgreiche Benutzung erleichtert 6. Da sich DesignEntscheidungen, die den Arbeitsablauf und die Benutzerfreundlichkeit einer (Web-)Anwendung beeinflussen,
jedoch kaum objektiv beurteilen lassen, liegt es letztlich an der Zielgruppe der Benutzer die „Usability“ einzuschätzen.
1.2
Problemstellung: Software und Benutzergruppen
Bei den in dieser Untersuchung verglichenen Dokumentationssystemen handelt es sich nicht um Internet-Seiten
oder -Services. Ein grundlegender Unterschied zwischen den Zielen einer web-basierten Applikation und den
getesteten Produkten ist aber nicht unbedingt nachweisbar. Dies zeigt der Ansatz des Teams der Uni Freiburg, die
Dokumentationsaufgaben der Kerndokumentation( 1 ) mithilfe eines Internet-Service zu realisieren (www.rheuma-
1
Die Kerndokumentation (KD) ist ein nationales, vom Ministerium für Bildung und Forschung gefördertes Re-
gister. Sie wird bundesweit von der Arbeitsgemeinschaft regionaler Rheumazentren organisiert und in den einzelnen Einrichtungen durchgeführt. Patienten werden bei ihrem Besuch in einem an die KD angeschlossenen
Rheumazentrum (RZ) einmal jährlich standardisiert befragt und untersucht. Die statistische Auswertung erfolgt
11
scores.de; mittlerweile auch erreichbar unter: www.kerndoku.de)( 2 ). Aus unserer Sicht unterstreicht die Umsetzung als Web-Dienst eindrucksvoll, dass sich auch die hier untersuchte Software an Maßstäben des InternetDesigns und den entsprechenden Erwartungen der Anwender messen lassen muss. Dabei muss man davon ausgehen, dass sowohl Mitarbeiter der betreuenden Gesundheitsberufe, so wie die Patienten selbst, an hochwertige
IT- bzw. Web-Applikationen gewöhnt sind und einen entsprechenden Standard vorraussetzen 7.
Die drei getesteten Anwendungen lassen sich als einer Praxis- oder Krankenhaus-Informationssoftware ähnliche
oder diese ergänzende Werkzeuge einsetzen, die den Rheumatologen bei der täglichen Patientenbetreuung und
der Sammlung von Behandlungsdaten für wissenschaftliche Zwecke unterstützen sollen. Sie sind für den Einsatz
durch Ärzte und andere an der Dokumentation beteiligte Berfusgruppen, wie Sprechstundenhilfen oder Dokumentationsassistenten geeignet. Bei einer Befragung der ärztlichen Kollegen in unserer Abteilung wurde ein
Einsatz von IT bei der Patientenbetreuung insbesondere dann als positiv bewertet, wenn dadurch Ressourcen bei
der Assessment-Erhebung und Auswertung durch Patienten-seitiges EDC gespart werden könnten.
Obwohl die Anwendung durch die Patienten ohne zusätzliche Hilfestellung bei keinem der Programme vorgesehen ist, bieten alle drei grundsätzlich die Möglichkeit, das Self-Assessment durch den Patienten direkt in der
elektronischen Form vorzunehmen (EDC). Bisher wurden zwar bei keinem der Programme Vorkehrungen getroffen, die eine komplett selbstständige Bearbeitung durch den Patienten erlauben (Benutzerkonten für Patienten
mit Passwortschutz, Schutz vor Einblicknahme in fremde Daten etc.), den Autoren ist aber bekannt, dass in
rheumatologischen Praxen bereits heute mit der notwendigen Assistenz durch Hilfspersonal ein selbsständiges
Self-Assessment am PC ermöglicht und routinemäßig angewandt wird.
Neben der Vermeidung von Doppeldokumentation und Datentransfer ist einer der wesentlichen Vorteile des
Software-Einsatzes am Ort der Datenerhebung (Praxis, Klinik etc.) die direkte Übermittlung der Befragungsergebnisse an den Behandler. Normalerweise werden diese Assessment-Ergebnisse asynchron berechnet und stehen frühestens beim nächsten Patientenkontakt zur Verfügung. Zukünftig wird eine solche Funktionsweise, bei
der der Patient ohne weitere Hilfestellung die Assessments im Wartezimmer ausfüllen kann, wahrscheinlich
zunehmend wichtiger werden. Für eines der untersuchten Programme (Documed.rh) wurde daher bereits eine
Validierungsstudie durchgeführt, die zeigen konnte, dass Patienten unter Anleitung mit der Software in der Lage
sind, Assessment-Instrumente selbstständig auszufüllen und dass die Ergebnisse mit denen der Papierversion
vergleichbar sind 8.
Die Einschätzung der Benutzerfreundlichkeit der getesteten Anwendungen wurde aus diesem Grund mittels
Nutzerbefragung von zwei verschiedenen Nutzergruppen geplant:
zentral im DRFZ, Berlin, die Datenübermittlung kann mittlerweile online oder zum Teil mit der hier getesteten
Dokumentations-Software stattfinden.
2
Dass diese, und andere Lösungen (wie z.B. die Software EMIL des Rheumazentrums Jena) in unseren Ver-
gleich keinen Eingang gefunden haben, liegt lediglich am Planungszeitraum der Untersuchung, in dem dieser
Service bzw. die Software noch nicht allgemein für externe Praxen und Krankenhäuser zur Verfügung stand.
12
1.
Angehörige der betreuenden Gesundheitsberufe, in der Regel ärztliches Personal, die mit der Dokumentation von rheumatologischen Daten betraut sind (im folgenden „Anwender“ genannt) und
2.
Patienten der rheumatologischen Abteilung.
Die Erwartungen an die Benutzerfreundlichkeit ist für beide Gruppen nicht als gleich einzuschätzen, ebenso wie
sich die Erwartungen an die „Benutzbarkeit“, also Funktionalität und Zielrichtung der Anwendung für die beiden
Gruppen unterscheiden. Während für den Mediziner die Nutzung eines der Programme zu einer Erleichterung
seiner täglichen Arbeit führen soll, hat der Patient in erster Linie das Interesse, dass sein Arzt-Patient-Verhältnis
und die Qualität der Behandlung durch den IT-Einsatz zumindest nicht verschlechtert werden.
1.3
Studienziele
Neben der Usability-Analyse durch geschulte Anwender (Anwender), sollte also das Patientenurteil über den
Softwareeinsatz zu einem weiteren zentralen Kriterium für unsere Untersuchung werden. Patienten der rheumatologischen Klinik-Ambulanz sollten beim Ausfüllen der Kerdokumentationsfragebögen an einem Laptop von
geschultem Hilfspersonal unterstützt werden. Um zusätzlich eine Aussage über die Validität der per EDC gewonnenen Daten machen zu können, wurde gleichzeitig eine Validierung der Vergleichbarkeit elektronisch gewonnener mit auf herkömmliche Art erhobener Assessmentdaten durchgeführt. Es wurde im Cross-Over-Design
geprüft (siehe 1.5.2) und dadurch den Patienten auch die Möglichkeit gegeben, eine Präferenz entweder für das
„traditionelle“ Verfahren oder den IT-Einsatz auszusprechen. Die während der Datenerhebung mit der Betreuung
der Patienten betrauten Studienmitarbeiter wurden anschließend nach Ihren Erfahrungen mit der Software befragt und einem standardisierten Usability-Test unterzogen (1.6.3.1). So konnte von beiden Nutzergruppen Daten
zur Evaluation der Benutzerzufriedenheit mit der Software gewonnen werden.
13
Versuchsteilnehmer und Methoden
1.4
Anwendergruppen
Ohne Kenntnis der jeweiligen Produktentwicklungs-Historie lassen sich die Unterschiede der Ziel- und Umsetzung der drei Software-Lösungen nicht verstehen. Durch unterschiedliche Ansätze bei der Aufgabenformulierung, verschiedenen geplanten Einsatzorten (Praxis, Klinik, Forschungseinrichtung) sowie dem teilweise ganz
unterschiedlichen Ressourceneinsatz bei der Umsetzung sind drei heterogene Produkte entstanden, die sich nur
begrenzt miteinander vergleichen lassen.
Um für die Anwender eine Vergleichbarkeit herzustellen, formulierten wir einen standardisierten Datensatz, der
durch die Test-Benutzer mithilfe der Software in einer definierten Arbeitsumgebung (Klinik-Ambulanz, Station)
zu erfassen war. Dadurch konnten einzelne Vor- und Nachteile der Produkte in den verschiedenen Arbeitsumgebungen, für die der Einsatz ursprünglich vorgesehen war, nicht berücksichtigt werden. Andererseits ergibt sich
aber ein klarer Kriterien-Katalog, auf dessen Basis hier „Äpfel mit Birnen“ verglichen wurden.
1.4.1 „Professionelle“ Anwender
Die Anwendung und Usability-Bewertung der drei Softwareprogramme wurde durch speziell geschulte Mitarbeiter (Anwender) in der Ambulanz und auf der Station der Abteilung für Rheumatologie der Schlosspark-Klinik
realisiert. Insgesamt wurden 12 Anwender in einem oder mehreren der getesteten Softwarelösungen geschult.
Dies geschah nach einem standardisierten Verfahren (siehe 1.5.1).
Bei den Anwendern handelte es sich um 2 Assistenzärzte, 7 Studenten im praktischen Jahr und 3 studentische
Hilfskräfte (ebenfalls Studierende der Medizin, mindestens im 3. klinischen Semester) der Abteilung. Insgesamt
8 Frauen (66,7%) und 4 Männer (33,3%), im Alter zwischen 25 und 37 Jahren (Mittelwert 28,53 ± 3,1 Jahre).
Falls nicht bereits ausreichende Erfahrung in der Anwendung der rheumatologischen Assessments vorhanden
war, wurden die Anwender diesbezüglich geschult (Aufklärung über Assessments im Allgemeinen, den Datensatz der Kerndokumentation, Umgang mit fehlerhaften und fehlenden Eintragungen, rheumatologische Therapieprinzipien, wie Basis- und Schmerztherapie, Berechnung des FFbH, Diagnosenspektrum).
Alle Anwender hatten bereits im Vorfeld der Untersuchung umfangreiche Kenntnisse im Umgang mit verschiedener Software auf der Basis der Betriebssystem-Familie Microsoft® Windows® und setzten diese, mit einer
Ausnahme (Macintosh OS®) zum Zeitpunkt der Untersuchung täglich ein. Dies wurde über einen Fragebogen
zur Erfahrung und Erfahrenheit mit IT evaluiert (siehe 1.6.5.3). Dabei gaben alle Anwender an im häuslichen,
teilweise aber auch im Arbeitsumfeld sich mit IT zu beschäftigen. Die Anwender nutzten alle mindestens 3 verschiedene Applikationsformen (aus den Kategorien Textverarbeitung, Tabellenkalkulation etc., siehe Frage 6 im
IT-Erfahrungsfragebogen, Anhang I). Die durchschnittliche Zeit seit Beginn der Computernutzung, sowie die
wöchentliche Nutzungszeit etc. der Anwender aufgeschlüsselt nach getestetem Program kann aus Tabelle 1 entnommen werden (Nutzer die mehr als eine Software bearbeitet haben sind in der Tabelle doppelt enthalten).
14
Tabelle 1: Anwender aufgeschlüsselt nach getesteter Software mit Kennzahlen der EDV-Erfahrung
Documed.rh
1
2
12,00
5,00
Anwender
156
3
7,00
5,00
Anwender
120
4
12,00
5,00
Anwender
120
5
7,00
7,00
Laie
120
6
10,00
5,00
Laie
36
Anwender
14,00
7,00
Mittelwert
12,4286
8,4286
113,14
Median
12,0000
5,0000
120,00
Std. Abweichung
6,13344
7,36788
36,567
1
25,00
25,00
Profi
120
2
5,00
5,00
Laie
60
3
25,00
25,00
Anwender
4
25,00
25,00
Profi
20,0000
20,0000
105,00
Mittelwert
Median
Total
120
120
120
25,0000
25,0000
120,00
10,00000
10,00000
30,000
1
25,00
25,00
Profi
120
2
25,00
25,00
Anwender
120
3
5,00
5,00
4
25,00
25,00
Anwender
120
5
25,00
25,00
Profi
120
6
25,00
25,00
Anwender
120
Mittelwert
21,6667
21,6667
110,00
Median
25,0000
25,0000
120,00
Std. Abweichung
8,16497
8,16497
24,495
17
17
Std. Abweichung
Ardis
„Seit wievielen
Monaten arbeiten Sie mit einem PC“
120
Internetnutzung
(Std/Woche)
25,00
7
Rheumadok
Selbsteinschätzung
Erfahrungslevel
Anwender
Computernutzung
(Std/Woche)
25,00
N
Spannweite
Laie
60
17
17
20,00
20,00
Minimum
5,00
5,00
Laie
120
36
Maximum
25,00
25,00
Profi
156
Mittelwert
17,4706
15,8235
110,12
Median
25,0000
25,0000
120,00
Std. Abweichung
8,54486
10,05134
29,466
Laie: Zugang zu Computern, sehr eingeschränkte Nutzung (z.B. nur emails senden und empfangen); Anwender:
Nutzung von Computern privat und/oder beruflich regelmäßig, kein „Profi“ (bei Problemen wird Hilfe Dritter
benötigt); Profi: privat und/oder beruflich professioneller Umgang mit Computern (z.B. Programmierung, Webmaster, etc.)
1.4.2 Patienten
Die Patienten der rheumatologischen Abteilung der Schlosspark-Klinik (Klinik der Regelversorgung, 300 Betten,
davon ca. 32 Betten in der Abteilung Innere Medizin II, Rheumatologie, daran angeschlossen eine rheumatologische Klinik-Ambulanz mit ca. 4000 Patientenkontakten/Jahr) werden in der Routine mit herkömmlichen Papier
und Stift-basierten (engl. „Paper-and-Pencil“, PP) Assessment-Instrumenten ca. 1-2x/Jahr befragt. Um ein vergleichendes Urteil der Patienten zu ermöglichen und zusätzlich eine Validitätsprüfung der gewonnenen Daten zu
15
erreichen wurde geplant, die Patienten beide Formen der Assessment-Instrumente (PP, PC) bei einer Visite bearbeiten zu lassen. Danach wurden sie zu ihrer Präferenz und ihrem Urteil zu den eingesetzten Instrumenten befragt.
Insgesamt wurden 454 Patienten im Zeitraum von Oktober 2006 bis März 2007 zur Teilnahme an der Untersuchung eingeladen und mittels mündlicher und schriftlicher Information befragt, ob sie bereit wären, die Fragebögen der KD2006 sowohl auf dem Papier als auch auf einem Notebook auszufüllen. Im Rahmen der Studie vervollständigten 351 Patienten die Fragebögen der KD2006 in beiden Medien. 103 Patienten (22,7%) lehnten eine
Teilnahme an der Studie ab (siehe Tabelle 3). Die Diagnosen der eingeschlossenen Patienten und deren Häufigkeit sind in Tabelle 2 ersichtlich. Die Altersverteilung und die durchschnittliche Krankheitsdauer finden sich in
Tabelle 4, es wurden 259 Frauen (73,8%) und 92 Männer in die Untersuchung eingeschlossen (26,2%). Wie in
Tabelle 5 ersichtlich ist, unterscheidet sich die Alters- und Geschlechtsstruktur der drei Gruppen (Ardis, Documed.rh, Rheumadok) nicht signifikant, wobei das Geschlechterverhältnis in allen Gruppen deutlich zu Gunsten
der weiblichen Patienten verschoben ist.
Tabelle 2: Häufigkeiten der dokumentierten Hauptdiagnosen der teilnehmenden Patienten
Patienten
8
Häufigkeit in %
2,3
SLE/M32.1 bis M32.9
7
2,0
systemische Sklerose (diff. Skler.)/M34.0
3
,9
Dermatomyositis des Erwachsenen/M33.1
4
1,1
keine Angabe
nicht klassifizierte Kollagenose/M35.9
11
3,1
Hypersensitivitäts-Vaskulitis/M31.0
6
1,7
Arteriitis cranialis/M31.5
2
,6
Polymyalgia rheumatica/M35.3
5
1,4
rheumatoide Arthritis (RF+)/M05.0 bis M05.9
71
20,2
Psoriasis vulgaris (periphere Form)/L40.5+/M07.3*
14
4,0
Erythema nodosum/L52+/M14.8 *
2
,6
Neuropathie/M14.6 */...+
2
,6
Arthrose mehrerer Gelenke/M15.8 oder M15.9
7
2,0
ankylosierende Spondylitis/M45.0-
17
4,8
Spondarthritis bei Psoriasis/M07.2 */L40.5 +
11
3,1
Spondarthritis bei entzündlicher Darmerkrank./M46.8 */... +
2
,6
andere Spondarthritiden/M46.8
8
2,3
Osteoporose/M80.0 bis .9 / M81.0 bis .9
4
1,1
12
3,4
andere weichteilrheumatische Erkrankung /M79.8
5
1,4
sonstige HLA-B 27 assoz. Arthritiden/
3
,9
rheumatoide Arthritis (RF-)/M06.9
96
27,4
noch unbekannt
51
14,5
351
100,0
Fibromyalgie/M79.0
Total
16
Tabelle 3: Häufigkeiten der angegebenen Gründe für eine Nicht-Teilnahme
Patienten
20
Häufigkeit in %
19,4
„keine Lust/möchte nicht“
37
35,9
„keine Zeit“
14
13,6
„Aversion gegen Computer/keine Lust auf Computer“
9
8,7
Abbruch oder Ablehnen wegen Schmerzen der Hände
9
8,7
„Brille vergessen“ bzw. zu schlechte Sehfähigkeit
7
6,8
Sprachbarriere (Muttersprache ≠ Deutsch)
5
4,8
Bedenken wegen des „Datenschutz“
1
,97
„kein Patient mehr, jetzt gesund“
1
,97
103
100,0
keine Angabe von Gründen
Total
Tabelle 4: Deskriptive Statistik der Altersverteilung und Krankheitsdauer der Studienteilnehmer
Alter in Jahren
0
Krankheitsdauer in Jahren
59
57,61
4,40
Fehlende Angaben
Mittelwert
Median
Std. Abweichung
58,00
2,00
11,710
6,155
Minimum
21
0
Maximum
83
34
25
50,00
,00
50
58,00
2,00
75
66,00
6,00
Perzentilen
Tabelle 5: Deskriptive Statistik der Altersverteilung und Geschlechterverhältnis nach getesteter Software
Alter in Jahren
N
% der Teilnehmer
Documed.rh
117
Rheumadok
120
Ardis
114
Total
351
33,3%
34,2%
32,5%
100%
Mittelwert
57,01
58,11
57,69
57,61
Median
58,00
59,00
58,00
58,00
Minimum
21
22
23
21
Maximum
83
81
82
83
Std. Abweichung
11,657
11,944
11,591
11,710
N Frauen:Männer
91:26
84:36
84:30
259:92
Häufigkeit N
60
40
20
0
20
40
60
80
Alter in Jahren
Abbildung 1: Altersstruktur der Studienteilnehmer mit Normalverteilungskurve
17
1.5
Versuchsablauf
1.5.1 Anwender
Zunächst wurden die Anwender auf ihre Eignung zur Teilnahme an der Studie überprüft, dazu erhielten sie einen
Fragebogen zur Evaluation ihrer IT-Erfahrung (Anhang I). Wenn die Anwender eine Mindestpunktzahl in diesem
Fragebogen erreichten, wurde Ihnen eine Teilnahme an der Studie angeboten. Für die studentischen Mitarbeiter
wurde jeweils ein zeitabhängiges Honorar bezahlt (10€/Stunde). Zur Schulung der Anwender in der jeweils vorgelegten Software wurden den Anwendern Datensätze von insgesamt 4 „Modellpatienten“ (Beispiele siehe
Anhang II) als Schriftstück zur Eingabe vorgelegt. Diese mussten unter Anleitung bzw. gemeinsam mit dem
Studienkoordinator eingepflegt werden („Learning-by-Doing“). Enthalten waren dabei neben den Daten der
KD2006 auch Eingaben zur Komorbidität, Therapie, sowie die Assessment-Instrumente SF-12, BASDAI,
BASFI und HAQ. Nach dieser Einführung wurde durch eine Mindestzahl an Arbeitsvorgängen und Arbeitszeit
mit der jeweiligen Software sichergestellt, dass die Anwender ausreichende Kenntnisse für die Bewertung der
Programme erwerben konnten:
•
Eingabe von 20 bereits ausgefüllten „Kerndokumentation 2006“(KD)-Fragebögen, inclusive der Erfassung
des Stammdatensatzes (rheumatologische Hauptdiagnose, Krankheitsdauer in Jahren etc.) aus unterschiedlichen Quelldokumenten (Ambulanz- oder Stationakte, Stammdatenfragebogen).
•
Befragung von mindestens 10 Patienten auf der Station oder in der Ambulanz zur Vervollständigung des
KD-Datensatzes und der KD-Stammdaten, incl. Anleitung der Patienten zum selbsständigen Ausfüllen des
FFbH, der NRS-Schmerz und der NRS-Allgemeiner Gesundheitszustand am Laptop. Dabei wurde parallel
ein für das jeweilige Programm konzipierter Dokumentationsbogen zur Erfassung von Patienten- und Anwenderkommentaren, sowie der Zeit- und Fehlerüberwachung geführt (Anhang III).
Nach ausreichender Schulung und Übung der Anwender mit der Software wird ein Evaluationsfragebogen ausgefüllt (1.6.3.1). Weiterhin wurden Kommentare in Form von Freitext gesammelt.
1.5.2 Patienten
Patienten der Ambulanz und auf der Station der rheumatologischen Abteilung der Schlosspark-Klinik wurden
mittels eines Info-Blattes (Anhang IV) um Mitarbeit an der Studie gebeten. Einschluss-Kriterium ist die Überoder Einweisung zur Spezial-Sprechstunde bzw. Station durch einen Facharzt für Innere Medizin, sowie die
unterschriebene Einverständniserklärung der Anwender. Bei Interesse an der Teilnahme konnten sie sich bei
einem Studienmitarbeiter auf der Station oder im Vorraum des Ambulanz-Wartezimmers melden und weitere
Fragen klären. Wenn am Ende, nach ausfürhlicher Auflärung die schriftliche Dokumentation des Einverständnisses der Versuchsteilnehmer mit den Versuchsinhalten und der Datenspeicherung/-verarbeitung vorlag, wurden
die Patienten randomisiert einer von insgesamt 6 Gruppen zugeteilt. Die Reihenfolge der Fragenbeantwortung
und das angewandte Programm wurden hierbei variiert (Tabelle 6). Dies geschah zum Vergleich der verschiedenen Software-Lösungen mit der herkömmlichen Papier und Stift-Version („Paper-and-Pencil“, PP) und zur Vermeidung eines Bias durch die Reihenfolge der Methoden-Administration.
18
Tabelle 6: Zuordnung der Patienten zu den Gruppen
Gruppe
Software
Documed.rh
1
2
Reihenfolge der
Administration
PP - PC
N Patienten
58
PC - PP
59
Total
3
Rheumadok
4
117
PP - PC
61
PC - PP
59
Total
5
Ardis
6
120
PP - PC
57
PC - PP
57
Total
Total
PP - PC
114
175
PC - PP
176
Total
351
PP-PC: zuerst wird der KD2006-Fragebogen von den Patienten auf dem Papier ausgefüllt („Paper-andPencil“, PP), danach mit der genannten Dokumentationssoftware auf- dem Laptop (Personal Computer, PC);
PC-PP: umgekehrte Reihenfolge
Der eigentliche Versuchsablauf gliederte sich in vier Abschnitte:
1.
Je nachdem, welcher Gruppe der Patient angehört, teilt der Studienmitarbeiter die Papierversion des Fragebogens aus oder führt ihn an den, vom Wartezimmer getrennten, PC-Arbeitsplatz. Dort steht ein/e Mitarbeiter/in zum Aufruf der Eingabemaske der Software und zur Assistenz bei der Bearbeitung zur Verfügung.
2.
Nach dem Ausfüllen des KD-Fragebogens am Computer oder Papier, werden die Nutzer zum Gesamteindruck, der Verständlichkeit und Schwierigkeiten bei der Vervollständigung etc. befragt (siehe Anhang V,
medienspezifische Evaluationsfragebogen). Weitere Fragebögen zur Kategorisierung der IT-Kenntnisse
(selbstentwickelter EDV-Erfahrungs-Fragebogen Anhang I), sowie zur Computer-Aversion (CARS Anhang
VII) werden in der verbleibenden Wartezeit vor dem Besuch im Behandlungsraum selbstständig ausgefüllt.
3.
Danach erfolgt die Arztvisite und im Anschluss daran die erneute Befragung am jeweils noch nicht bearbeiteten Medium (PP bzw. PC) mit erneuter, medienspezifischer Evaluation.
4.
Am Ende ist ein Fragebogen zum Direktvergleich (Anhang VI) auszufüllen, bei dem die Patienten eine
eindeutige Präferenz für eine der beiden Lösungen angeben können.
Parallel zur Bearbeitung am Laptop notiert der Studienmitarbeiter die Dauer der Bearbeitung in Minuten, sowie
die Häufigkeit und Inhalte benötigter Hilfestellung. Sind hierbei hardware- oder softwarespezifische Kategorisierungen möglich, wurde versucht, die Dokumentation der Hilfestellung zu kategorisieren (z.B. „fehlerhaftes
scrollen“ als wiederkehrendes Problem).
1.6
Untersuchungsmethoden/Messinstrumente
1.6.1 Hardware
Die drei zu testenden Dokumentationsprogramme wurden auf einem Laptop der Marke Fujitsu Siemens®, Typ
AMILO Pro® mit Windows XP Professionell®-Betriebssystem angeboten (Spezifikationen siehe Anhang VIII).
19
Zur Eingabe stand einerseits die Tastatur, sowie wahlweise eine Standardmaus oder das Touchpad des Laptop zur
Verfügung.
1.6.2 Software
Allen drei Programmen ist gemein, dass sie die Erfassung und Übertragung des Kerndokumentationsdatensatzes
an das DRFZ in Berlin ermöglichen. Alle drei Programme enthalten eine Vielzahl an rheumatologischen Assessment-Instrumenten als EDV-Version, sind in der Lage die Ergebnisse in einer Datenbank abzuspeichern und
für Analysen zur Verfügung zu stellen. Auf die teilweiese gravierenden Unterschiede bei Konzeption, technischer
Umsetzung und Funktionsumfang soll hier im Einzelnen nicht näher eingegangen werden.
1.6.2.1 Ardis
Beim Programm Ardis handelt es sich um ein elektronisches Datenerfassungs- und Verwaltungssystem, das zunächst speziell für die Bedürfnisse der rheumatologischen Ambulanz der Universitätsklinik Tübingen entworfen
wurde. Es entspricht in seiner Funktionalität einer elektronischen Patientenakte und eignet sich zur Erstellung
von Arztbriefen und Berichten zu einzelnen Patienten ebenso, wie zur Datenanalyse im Querschnitt. Das Programm ist auf Basis des Datenbanksystems ORACLE® programmiert und benötigt dieses, um unter MS Windows laufen zu können. Zu ausführlichen Informationen möchten wir auf die Internet-Präsenz zum Programm
Ardis,
sowie
der
Beschreibung
auf
den
Seiten
der
DGRh
verweisen
(Ardis-Homepage:
http://85.10.204.43/index.php/Hauptseite, DGRh-Beschreibung: http://www.dgrh.de/ardis.html). Die eingesetzte
Version entspricht dem Entwicklungsstand aus dem Jahr 2005 (Version 1.x, 2005).
1.6.2.2 Documed.rh
Das Dokumentationssystem Documed.rh wurde von der Entwicklergruppe des Rheumazentrums der Universitätsklinik Düsseldorf entwickelt. Es ist frei konfigurierbar und parametrierbar und ermöglicht dadurch eine Anpassung an unterschiedlichste Einsatzumgebungen. Das Programm läuft auf der von Microsoft entwickelten
.NET (sprich „dotnet“) Softwareplattform unter MS Windows. Ebenso wie Ardis ermöglicht es, Arztbriefe und
Berichte einzelner Patienten und Querschnittsanalysen nach frei wählbaren Abfrageparametern zu erstellen. Es
steht eine kostenlose Testversion über das Internet zur Verfügung (http://www.rheumanet.org/Documed.rh). Zu
ausführlichen Informationen möchten wir auf die Internet-Präsenz www.rheumanet.org, sowie die Beschreibung
des Programms auf den Seiten der DGRh verweisen (http://www.dgrh.de/Documed.rh.html). Die eingesetzte
Version entspricht dem Entwicklungsstand aus dem Jahr 2006.
1.6.2.3 Rheumadok
Das Programm Rheumadok wurde, ursprünglich entwickelt im Auftrag einer rheumatologischen Schwerpunktpraxis, vom Berufsverband Deutscher Rheumatologen e.V. (BDRh) für seine Mitglieder kostenlos herausgegeben. Es basiert auf dem Datenbanksystem MS Access® und benötigt die Access XP-Laufzeitumgebung, die
unter Windows installiert sein muss. Es unterscheidet sich bzgl. der o.g. Funktionsmerkmale insofern von den
vorgenannten Programmen, als dass eine direkte Arztbrieferstellung aus dem Programm heraus nicht möglich ist.
Stattdessen können Befundtexte in die Windows-Zwischenablage kopiert und später in beliebige Drittaplikationen eingefügt werden (z.B. Praxissoftware, Textverarbeitung etc.). Für weitere Informationen möchten wir auf
die Internet-Präsenz des BDRh (http://www.bdrh.de), sowie die Beschreibung des Programms auf den Seiten der
20
DGRh verweisen (http://www.dgrh.de/rheumadok.html). Die eingesetzte Version entspricht dem Entwicklungsstand aus dem Jahr 2005 (Version 2.0)
1.6.3 Befragung der Anwender
Die „professionellen“ Anwender wurden nach der unter 1.4.1 genannten Evaluation und Einarbeitung mit einem
standardisierten Instrument (Fragebogen ISONORM 9241/10) zu Ihrer Einschätzung der Benutzerfreundlichkeit
der getesteten Software befragt. Um die Ergebnisse der Befragung in einen umfassenden Evaluationsprozeß
einzubinden wurden weiterhin Kommentare der Anwender als Freitext erfasst, die einzelne Schwachpunkte oder
Stärken der Software inhaltlich erfassbar machen und herausstellen sollen.
1.6.3.1 Der „ISONORM 9241/10“-Fragebogen
Der ISONORM 9241/10 (Anhang X) von Prümper und Anft 9, 10 ist ein standardisierter Fragebogen zur Beurteilung der Benutzerfreundlichkeit von Software am Arbeitsplatz. Durch den Einsatz dieses Fragebogens kann
Software gemäss den unter Kapitel 1.1 genannten ISO-Kriterien zur benutzerfreundlichen Dialoggestaltung (ISO
9241-10, enspricht aktuell dem Teil ISO 9241-110) überprüft werden. Er gilt als zuverlässig, ist in der Praxis
abgesichert und hinsichtlich Aufwand und Verständlichkeit praktisch einsetzbar. Er wird von den Anwendern der
Software, nicht von besonders ausgebildeten Ergonomiespezialisten ausgefüllt.
Der Fragebogen ISONORM 9241/10 eignet sich zur Beurteilung bereits eingesetzter Software ebenso wie zur
Beurteilung von Prototypen. Er kann zur Bewertung der verschiedensten Softwaresysteme eingesetzt werden: für
zeichenorientierte ebenso wie für moderne grafische Oberflächen mit Mausbedienung, für Bürokommunikationsund für Buchhaltungsprogramme oder Software anderer Einsatzzwecke.
Der Fragebogen liefert erste Hinweise auf ergonomische Schwachstellen von Softwaresystemen. Er kann im
Zusammenhang mit moderierten Workshops oder Benutzergruppen eingesetzt werden. Der Fragebogen ist leicht
verständlich und kann ohne vorbereitende Schulung verwandt werden. Die Beantwortung der Fragen erfordert
nur geringen Zeitaufwand.
Der Hauptteil des Fragebogens enthält die sieben ISO-Kriterien. Jedes Kriterium wird über fünf Items operationalisiert. Jedes Item wird über eine bipolare Aussage konkretisiert (siehe Abbildung 2).
21
Abbildung 2: Fragenblock zum Prüfprinzip "Fehlertoleranz" als Beispiel für die Items des ISONORMFragebogens
Prüfprinzipien des ISONORM-Fragebogens entsprechend der 7 ISO-Kriterien (siehe 1.1) sind:
1.
Aufgabenangemessenheit
Das Produkt sollte die Erledigung der Arbeitsaufgaben unterstützen, ohne den Benutzer unnötig zu belasten
(z. B. mit komplexen Bedienabläufen).
2.
Selbstbeschreibungsfähigkeit
Das Programm sollte dem Benutzer genügend Erläuterungen geben und in ausreichendem Maße verständlich sein (Intuitive Bedienbarkeit).
3.
Steuerbarkeit
Der Benutzer sollte die Art und Weise, wie er mit dem Produkt arbeitet, gut beeinflussen können. (Benutzer
ist "Herr der Lage")
4.
Erwartungskonformität:
Das Programm sollte durch eine einheitliche Gestaltung (Konsistenz) den Arbeitsabläufen und Gewohnheiten des Benutzers entgegenkommen und in ausreichendem Maße Feedback geben.
5.
Fehlertoleranz:
Der Benutzer sollte trotz erkennbar fehlerhafter Eingaben das beabsichtigte Arbeitsergebnis mit minimalem
Korrekturaufwand erreichen können. (Unterstützung bei Fehlerbehebung)
6.
Individualisierbarkeit:
Das Programm sollte vom Benutzer ohne großen Aufwand auf individuelle Bedürfnisse und Anforderungen
angepaßt werden können.
7.
Lernförderlichkeit:
Der Benutzer sollte schnell erste Ergebnisse erzielen können und sich ohne großen Aufwand einarbeiten
können.
22
Der Fragebogen lehnt sich also - wie schon sein Name besagt - eng an die Software-Ergonomie-Norm DIN EN
ISO 9241 Teil 110 an. Jeder der sieben Gestaltungsgrundsätze wurde in fünf Einzelfragen "übersetzt". Er besteht
somit aus ingesamt 35 Fragen. Für die Antwort wird jeweils ein siebenstufiges Bewertungsschema verwandt,
von sehr negativ ("---") bis sehr positiv ("+++"). Zum Ausfüllen benötigt man ca. 20 Minuten. Die Fragen sind
relativ allgemein und leicht verständlich und können somit auch ohne vorbereitende Schulung beantwortet werden.
Der ISONORM-Fragebogen sollte von allen Anwendern einer Software oder einer repräsentativen Auswahl
bearbeitet werden. Handelt es sich um ein komplexes Softwaresystem, das aus verschiedenen Modulen besteht
oder von Anwendern verschiedener Arbeitsaufgaben genutzt wird, dann sollte jeder nur den Teil beurteilen, den
er für seine Arbeitsaufgabe benötigt. Die Auswertung ist dann getrennt für die einzelnen Module bzw. Softwareteile vorzunehmen.
Für die Auswertung von ISONORM 9241/10 wird für jede Frage der Mittelwert aller Antworten berechnet. Die
Ergebnisse lassen sich auch pro Gestaltungsgrundsatz zusammenfassen, um so Stärken oder Schwachstellen der
Software in bestimmten Bereichen aufzudecken. Der Mittelwert aller Items kann als Maßzahl für die (Gesamt)Ergonomie des Programms berechnet werden.
Der Fragebogen liefert erste Hinweise auf ergonomische Schwachstellen von Softwaresystemen. Konkrete Hinweise, wo Mängel vorliegen und wie diese behoben werden können, sind aufgrund der allgemeinen Frageformulierungen nicht zu gewinnen. Daher muß der Fragebogen in ein umfassendes Verfahren eingebettet werden, um
aussagekräftige Ergebnisse, insbesondere konkrete Vorschläge Verbesserungen zu erhalten (z.B. Interview/Freitexterfassung).
1.6.4 Erhebung des Kerndokumentationsdatensatzes
Die Auswahl eines standardisierten Datensatzes zum Vergleich der drei getesten Dokumentationsprogramme
orientiert sich an den Stamm- und diagnoseunabhängigen Assessmentdaten, die bei der Erhebung der Kerndokumentation (KD) der Arbeitsgemeinschaft Regionaler Kooperativer Rheumazentren (AGRZ) und des Deutschen Rheuma-Forschungszentrums (DRFZ) beinhaltet sind. Die erhobenen Daten dienen dabei unter anderem
zur Qualitätssicherung und Versorgungsforschung. Zu näheren Informationen über die Struktur, Umsetzung und
Ergebnisse der KD verweisen wir an dieser Stelle auf die verschiedenen Internetpräsenzen der DGRh und der
AGRZ (http://www.dgrh.de/kerndokumentation.html; www.kerndoku.de).
Es wurden die unter 1.6.4.1 genannten Stammdaten durch die Studienmitarbeiter erfragt und in die Software
eingetragen. Danach wurden den Patienten die in der KD enthaltenen, Diagnose-unabhängigen Self-AssessmentInstrumente vorgelegt (siehe 1.6.4.2).
1.6.4.1 Patientenstammdaten
Zu den für die KD relevanten Patientendaten zählen Daten zur eindeutigen Chrakterisierung der Patienten, wie
die Initialen und das Geburtsdatum, weiterhin die rheumatologische Hauptdiagnose, die Diagnosesicherheit und
Monat und Jahr der Erstdiagnose. Diese Daten wurden von den Studienmitarbeitern erfragt, falls erinnerlich bzw.
aus der Dokumentation der Abteilung (Ambulanz- oder Klinikakte) erfasst.
23
1.6.4.2 Self-Assessment
Auf dem Fragebogen der im Jahr 2006 zur Erhebung der KD ausgegeben wurde finden sich neben evaluierten
Instrumenten zur Ermittlung der subjektiven Patienteneinschätzung („Self-Assessment“) Fragen zu Kur- und
Krankenhausaufenthalten, zur Arbeitssituation, sowie dem Nikotinkonsum der Patienten. Um das subjektive
Schmerzniveau, die anamnestische Funktionskapazität und die aktuelle subjektive Krankheitsaktivität zu erfassen werden 2 Numerische Ratingskalen (NRS) und ein standardisierter Fragebogen (Funktionsfragebogen Hannover, FFbH) erhoben. Dabei handelt es sich um klassische Instrumente für die Selbsteinschätzung rheumatologischer Patienten. Die Fragen beziehen sich alle auf den Zeitraum der letzten 7 Tage, was in den Instruktionen
teilweise durch zusätzliche Unterstreichung hervorgehoben wird. Das aktuelle Schmerzniveau wurde mittels
einer 11-stufigen numerischen Rating-Skala (NRS-11, „Algometer“) erfasst (Abbildung 3): Der Parameter
„Schmerz in den letzten 7 Tagen“ kann hier Werte von 0 („keine Schmerzen“) bis 10 („unerträgliche Schmerzen“) annehmen. Die Verwendung einer NRS ist methodisch einfacher und das Ergebnis unabhängiger vom
Bildungsgrad der Probanden, als die Verwendung einer klassischen „visuellen Analog-Skala“ (VAS), bei vergleichbarer Validität und Reliabilität 11, 12.
Abbildung 3: Ausschnitt aus dem Patientenfragebogen mit NRS zu Schmerz und Krankheitsaktivität
1.6.4.3 Funktionsfragebogen Hannover
Die Einschränkung der Funktionskapazität wurde mittels eines vollstandardisierten Fragebogens bestimmt
(Anhang IX). Der im deutschen Sprachraum regelhaft in der klinischen und epidemiologischen rheumatologischen Forschung angewandte „Funktionsfragebogen Hannover“ (FFbH) wurde bereits vor über 20 Jahren entwickelt und hat sich bis heute, auch im Vergleich mit verschiedenen moderneren Instrumenten, z. B. der aus dem
Englischen übersetzten deutschen Version des „Health Assessment Questionaire“ als praxisnah, zeitökonomisch
und valide erwiesen 13, 14. Mit den 18 Items des FFbH soll die durch rheumatische Erkrankungen eingeschränkte
funktionelle Kapazität bei lebenspraktisch relevanten Alltagstätigkeiten („Aktivitäten des täglichen Lebens“,
ATL) erfasst werden. Ursprünglich wurde für Patienten mit Rückenschmerzen (FFbH-R) und Patienten mit polyartikulären Krankheitsbilder (FFbH-P) je 12 Items definiert, die kombiniert in der hier vorgelegten Version auch
Bestandteil der Kerndokumentation der regionalen Rheumazentren der Deutschen Gesellschaft für Rheumatologie sind. Dabei werden u.a. die folgenden Bereiche berücksichtigt: Mobilität, persönliche Hygiene, An- und
Ausziehen, Gegenstände ergreifen und Gegenstände bewegen. Die Beantwortung erfolgt auf einer 3-PunkteSkala, für die verschiedene Punkwerte vergeben werden („Ja“= 2 Punkte, „Ja, aber nur mit Mühe“= 1 Punkt,
24
„Nein, oder nur mit fremder Hilfe“= 0 Punkte). Die Auswertung erfolgt mittels Addition der einzelnen Punktwerte und Division durch 36 (=max. Punktwert), wobei ein relativer Wert in Prozent ausgegeben wird. Hat der
Proband in keiner Frage eine Einschränkung angegeben, also alle Fragen mit „Ja“ beantwortet, beträgt seine
„Funktionskapazität“ demnach 100%. Wurde hingegen bei jedem Item die Antwort „Nein, oder nur mit fremder
Hilfe“ gegeben, entspricht dies einem FFbH von 0%.
1.6.5 Befragung der Patienten
Nach Abschluss der Assessment-Befragung wurden die Patienten zu Ihrem Urteil über die Administrationsform
der Instrumente, sowie zu Ihrer Erfahrung mit IT und evtl. bestehenden Vorbehalten ggü. Computertechnologie
(CARS) befragt.
1.6.5.1 Fragebögen zur Evaluation der Administrationsform
Die speziell für diese Untersuchung entworfenen Fragebögen zur Beurteilung des Komforts und eventueller
Schwierigkeiten beim Vervollständigen der patientenseitigen KD-Daten wurden in Zusammenarbeit mit Frau Dr.
J. Richter, Universitätsklinikum Düsseldorf, entwickelt (Anhang V). Die Bögen orientieren sich dabei an den
Instrumenten die Buxton und Allenby in ihren Untersuchungen zum Vergleich von Paper-and-Pencil- mit Touchscreen-Versionen von Fragebögen einsetzten 15, 16. Insbesondere wurde hier auf krankheitsspezifische Merkmale,
wie Probleme bei Stift- und Mausbenutzung durch Schmerzen in Gelenken wert gelegt.
1.6.5.2 Fragebogen zur Ermittlung einer Nutzerpräferenz
Nach der erfolgreichen Bearbeitung sowohl der Papier-, als auch der PC-Version der Fragebögen, wurden die
Patienten um Angabe einer Präferenz für eines der beiden Verfahren global und im Bezug auf verschiedene Einzelaspekte gebeten (Anhang VI). Dieses Verfahren wurde in ähnlicher Form bereits in einigen vergleichbaren
Evaluationsstudien angewandt und orientiert sich hier an den Arbeiten von Crawley und Kleinman 17.
1.6.5.3 IT-Erfahrungsfragebogen
Der Fragebogen zur Ermittlung der individuellen Erfahrung und Erfahrenheit mit Informationstechnologie (IT,
Anhang I), sowie der Bewertung von gesundheitsbezogenen Internet-Services wurde in Zusammenarbeit mit
Frau Dr. J. Richter, Universitätsklinikum Düsseldorf, entwickelt und in ähnlicher Form bereits in anderen Untersuchungen zum gleichen Zweck eingesetzt 8. Er orientiert sich weiterhin an einem Fragebogen zur Abschätzung
von IT-Erfahrung, der vom Projekt „Evaluation „Lernen im Netz“ - Lehr- und Lernerfahrung in internetgestützen
Seminaren“ von Prof. Dr. C. Hauenschild und Dr. C. Schmidt an der Universität Hildesheim eingesetzt wird 18.
Wir definierten zur einfacheren statistischen Auswertung ein Bewertungssystem, bei dem den einzelnen abgefragten Kategorien Punkte zugeordnet werden können und ein „IT-Erfahrungs-Score“ resultiert. Je nach Punktzahl können die Patienten und Anwender (=“User“) dadurch einer von 4 „Erfahrungs-Stufen“ (=“User-Levels“)
zugeordnet werden:
•
Liegt keine, oder nur extrem geringe Erfahrung mit IT (im weitesten Sinne, also auch alltäglichen Applikationen wie EC-Automaten etc.) vor, so werden die Befragten der Gruppe „Neuling“ zugerechnet
•
Wenn ein Zugang zu Computern besteht, dieser aber nur sehr eingeschränkt genutzt wird (bspw. nur für EMail-Verkehr) soll in diesem Zusammenhang von „Anfänger“ gesprochen werden
25
•
Bei regelmäßiger Computernutzung mit Einsatz verschiedener Anwender-Software, wie Textverarbeitung,
Tabellenkalkulation, Internet-Recherche etc. zählen wir den Befragten zur Gruppe der normalen „Nutzer“
von Computer-Technologie
•
Liegen Hinweise für eine beruflich und inhaltlich intensive Auseinandersetzung mit Computern vor, wie
z.B. Programmiertätigkeit, Administration eines Netzwerks oder einer Homepage, kann der Anwender zur
Gruppe der „Profis“ gerechnet werden
Natürlich sind diese Kategorien quasi willkürlich gewählt, es ergab sich aber bei der Befragung der Anwender
(siehe 1.4.1) eine gute Übereinstimmung der über die Punktzahl erreichten Kategorie und der Selbsteinschätzung
zur Zugehörigkeit zu einer der vier Gruppen (siehe Tabelle 7).
Tabelle 7: IT-Erfahrung
Score
Level
Kommentar
Beschreibung zur Selbsteinschätzung
<3
IT-Neuling
Kaum Kontakt zu IT
„Sie haben keinen Computer oder nur gelegentlich Kontakt
mit Informationstechnologie (IT)“
3-10
IT-Anfänger
10-35
IT-Nutzer
Kontakt, aber geringe
„Sie haben Zugang zu Computern, nutzen diese aber insge-
Nutzung
samt eher wenig (bspw. nur Textverarbeitung o.ä.)“
Regelmäßige Nutzung
„Sie nutzen Computer privat und/oder beruflich, sind aber
kein IT-Fachmann/„Computer-Freak““
>35
IT-Profi
Intensive
gung mit IT
Beschäfti-
„Sie arbeiten entweder beruflich und/oder privat „professionell“ mit Computern (IT-Spezialist, Webmaster, „Hacker“)“
1.6.5.4 Fragebogen zur „Computer-Angst“ (CARS)
Computer werden als Instrumente bei der Befragung von Studienprobanden und Patienten bereits seit über 20
Jahren eingesetzt. Bereits seit der Anfangszeit stellte man sich die Frage, ob die Form der Fragen-Administration
einen Einfluss auf die inhaltliche Validität der gewonnenen Daten haben könnte. Obwohl zunächst erwartet, ist
ein abweichendes Antwortverhalten auch bei Fragen zu „sozial unerwünschtem“ Verhalten, wie z.B. Alkohol-,
Drogen- und Nikotin-Gebrauch nicht belegt 19. Als ein Faktor, der das Antwortverhalten insbesondere bei psychometrischen Tests jedoch beeinflussen kann, konnte eine negative affektive Einstellung zur ComputerTechnologie identifiziert werden 20. Um diesen Faktor messbar zu machen, gibt es verschiedene standardisierte
Instrumente, zu denen auch der in dieser Untersuchung eingesetzte „Computer-Anxiety Rating-Scale“Fragebogen von Heinssen et al. zählt 21. Dieser zeichnet sich durch einfache Bearbeitung und gute interne Konsistenz und Reliabilität aus
22
. Er wurde in einer deutschen Übersetzung dargeboten (siehe Anhang VII) und
analog der englischen Version ausgewertet. Werte über 55,31 sprechen für ein hohes Maß an „Computer-Angst“,
Werte kleiner 31,85 weisen auf eine niedrige Hemmschwelle zu Computertechnologie hin 21.
26
1.7
Auswertung
Die Archivierung der auf Papier gewonnen Daten erfolgte zur übersichtlichen Darstellung mit dem Tabellenkalkulationsprogramm Excel 2003 (Firma Microsoft, Redmond, USA). Der Datenexport aus den drei Dokumentationsprogrammen in eine Excel-Tabelle erfolgte je nach Software-Architektur unterschiedlich. Lediglich für die
Software Rheumadok war es möglich, ohne weitere Hilfe durch die Entwickler, einen Datenexport nach Excel
mit den Standardfunktionen der zugrunde liegenden Datenbank MS Access durchzuführen. Bei der Software
Documed.rh wurde nach Übermittlung der zu extrahierenden Datensätze mittels einer Datei der Datenexport
über die implementierten Programmfunktionen ermöglicht. Um die Daten aus dem Programm Ardis zu gewinnen
musste die eingesetzte Hardware-Software-Kombination durch die Entwickler in der Uni-Klinik Tübingen direkt
bearbeitet werden.
Die Ergebnistabellen wurden in das Programm „Statistical Program for the Social Sciences“ für Windows, Version 15 (Firma SPSS Inc., Chicago, USA) importiert und zur weiteren statistischen Auswertung vorbereitet. Zunächst wurden die Ergebnisse (Median, Mittelwerte, Standardabweichung, Perzentilen, Spannweite) innerhalb
der einzelnen Gruppen tabellarisch und grafisch dargestellt (deskriptive Statistik). Dann wurde geprüft, ob bei
den Daten eine Normverteilung vorlag.
Es wurden nicht-parametrische Tests verwendet. Zum Vergleich zweier Gruppen (Teststatistik) kam bei qualitativen Merkmalen der X2-Test (Student-T-Test) zum Einsatz, der multiple U-Test (Mann-Whitney) wurde für
quantitative Merkmale verwendet. Dieser Test basiert auf Rängen und entspricht dem t-Test für unverbundene
Stichproben. Als weiterer nichtparametrischer Test diente der Wilcoxon-Rangsummen-Test zur Feststellung von
Unterschieden zwischen zwei verbundenen Stichproben.
Bei den Resultaten ist jeweils die Wahrscheinlichkeit p angegeben worden, wobei immer von der Nullhypothese
(N0) ausgegangen wurde. Ist der p-Wert <0,05, wird das Ergebnis als signifikant angesehen. Das heißt, dass die
Nullhypothese in diesem Fall abgelehnt wurde. Der Fehler 2. Art ist dann kleiner 5%. Unter dem Fehler 2. Art
oder β-Fehler wird die Wahrscheinlichkeit verstanden, mit der tatsächliche Merkmalsunterschiede zwischen zwei
Gruppen nicht erkannt werden 23.
Da in dieser Studie mehrere Gruppen untereinander unterschieden werden sollten, ist die Irrtumswahrscheinlichkeit zu berücksichtigen. Die Irrtumswahrscheinlichkeit ist die Wahrscheinlichkeit, einen Fehler 1. Art zu begehen, also eine Nullhypothese fälschlicherweise abzulehnen. Man spricht in diesem Zusammenhang auch von der
„Power“ (engl. „Kraft“), um die Aussagekraft eines „signifikanten“ Ergebnisses weiter zu charakterisieren. Bei
der Berechnung der Stichprobengröße für den Vergleich der PP- und PC-Versionen der KD wurde von einer
„Power“ von 10% ausgegangen, d.h., dass mit einer Wahrscheinlichkeit von 90% die Nullhypothese zu Recht
abgelehnt werden darf 23.
Die Auswahl der Tests sowie die statistischen Berechnungen entstanden in Übereinstimmung mit Herrn PD Dr.
rer. nat. Dr. med. W. Hopfenmüller, Institut für Biometrie und Klinische Epidemiologie der Charité - Hochschulmedizin Berlin. Weiterhin danken wir Herrn Dr. J. Listing, DRFZ Berlin für wertvolle Hinweise zur Auswertung der Studienergebnisse.
27
2
Ergebnisse
2.1
Ergebnisse der ISONORM-Befragung der Anwender
In den Tabellen Tabelle 8 - Tabelle 10 sind die Mittelwerte des gesamten ISONORM-Fragebogens und die Mittelwerte der Unterkategorien der Anwender nach Programmen aufgeschlüsselt wiedergegeben. In Tabelle 11
findet sich eine Übersicht der Mittelwerte aller Anwender zum Vergleich der einzelnen Programme. Diese sind in
Abbildung 4 grafisch gegeneinander aufgetragen.
Tabelle 8: Ergebnisse der ISONORM 9241/10-Befragung für das Programm Ardis
Ardis
Anwender 1
MIttelwert
ISONORM
6,06
6,80
5,80
Steuerbarkeit
5,60
Erwartungskonformität
6,80
Fehlertoleranz
6,40
Lernförderlichkeit
6,80
Individualisierbarkeit
4,20
Anwender 2
4,26
3,40
5,20
6,00
4,80
4,40
3,00
3,00
Anwender 3
6,69
6,40
6,80
6,60
7,00
7,00
7,00
6,00
Anwender 4
2,97
2,80
2,60
4,80
4,00
2,80
1,60
2,20
Anwender 5
2,17
2,20
2,20
2,40
3,20
2,20
1,80
1,20
Anwender 6
2,17
1,80
2,00
3,40
2,80
2,80
1,00
1,40
4,0524
3,9000
4,1000
4,8000
4,7667
4,2667
3,5333
3,0000
3,6143
3,1000
3,9000
5,2000
4,4000
3,6000
2,4000
2,6000
2,17
1,80
2,00
2,40
2,80
2,20
1,00
1,20
6,69
6,80
6,80
6,60
7,00
7,00
7,00
6,00
1,96163
2,16426
2,08135
1,6149
3
1,79072
2,03044
2,68825
1,83739
Mittelwert
Median
Minimum
Maximum
Std. Abweichung
Tabelle 9: Ergebnisse der ISONORM 9241/10-Befragung für das Programm Documed.rh
4,00
Steuerbarkeit
6,80
6,60
Fehlertoleranz
6,60
Lernförderlichkeit
6,80
6,00
Documed.rh
Anwender 1
MIttelwert
ISONORM
6,23
6,80
Anwender 2
5,26
4,80
5,80
5,80
5,60
5,40
4,60
4,80
Anwender 3
5,29
5,40
4,80
6,00
6,40
4,40
5,80
4,20
Anwender 4
3,80
3,20
3,60
4,60
5,60
3,80
3,20
2,60
Anwender 5
4,06
3,00
3,20
4,40
5,40
4,80
4,00
3,60
Anwender 6
5,63
5,20
5,20
6,00
6,80
6,00
5,80
4,40
Anwender 7
6,40
7,00
6,60
5,60
6,80
6,00
6,80
6,00
5,2367
5,0571
4,7429
5,6000
6,1714
5,2857
5,2857
4,5143
5,2857
5,2000
4,8000
5,8000
6,4000
5,4000
5,8000
4,4000
3,80
3,00
3,20
4,40
5,40
3,80
3,20
2,60
6,40
7,00
6,60
6,80
6,80
6,60
6,80
6,00
,99573
1,56510
1,22591
,84063
,61567
,99905
1,38976
1,23211
Mittelwert
Median
Minimum
Maximum
Std. Abweichung
28
Tabelle 10: Ergebnisse der ISONORM 9241/10-Befragung für das Programm Rheumadok
MIttelwert
ISONORM
6,20
7,00
6,60
Steuerbarkeit
6,40
7,00
Fehlertoleranz
4,00
Lernförderlichkeit
6,80
5,60
Anwender 2
6,83
7,00
6,80
7,00
6,80
7,00
6,60
6,60
Anwender 3
3,60
3,60
2,00
4,00
4,40
3,40
5,20
2,60
Anwender 4
5,37
5,20
5,60
5,00
6,80
4,80
6,00
4,20
5,5000
5,7000
5,2500
5,6000
6,2500
4,8000
6,1500
4,7500
5,7857
6,1000
6,1000
5,7000
6,8000
4,4000
6,3000
4,9000
3,60
3,60
2,00
4,00
4,40
3,40
5,20
2,60
6,83
7,00
6,80
7,00
7,00
7,00
6,80
6,60
1,40019
1,63707
2,22935
1,35647
1,23693
1,57480
,71880
1,73877
Rheumadok
Anwender 1
Mittelwert
Median
Minimum
Maximum
Std. Abweichung
Tabelle 11: Mittelwerte mit Standardabweichung der Programme im Vergleich
Ardis
Mittelwert
Std. Abweichung
Documed.rh
Mittelwert
Std. Abweichung
Rheumadok
Mittelwert
Std. Abweichung
MIttelwert
ISONORM
Steuerbarkeit
Fehlertoleranz
4,0524
3,9000
4,1000
4,8000
4,7667
4,2667
3,5333
3,0000
1,96163
2,16426
2,08135
1,61493
1,79072
2,03044
2,68825
1,83739
5,2367
5,0571
4,7429
5,6000
6,1714
5,2857
5,2857
4,5143
,99573
1,56510
1,22591
,84063
,61567
,99905
1,38976
1,23211
5,5000
5,7000
5,2500
5,6000
6,2500
4,8000
6,1500
4,7500
1,40019
1,63707
2,22935
1,35647
1,23693
1,57480
,71880
1,73877
Lernförderlichkeit
29
Ardis
Documed
Rheumadok
Mittelwert ISONORM 9241/10
Steuerbarkeit
Fehlertoleranz
Lernförderlichkeit
1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 5,50 6,00 6,50 7,00
Mittelwerte
Abbildung 4: Auftragung der Mittelwerte insgesamt und in den Unterkategorien nach Programmen
2.2
Kommentare der Anwender zur Software
Im Folgenden sind Kommentare der Anwender im Freitext zusammengetragen, geordnet nach den einzelnen
Programmen.
2.2.1 Ardis
„Die Software zwingt mich, überflüssige Arbeitsschritte durchzuführen“
„speichert nicht von allein“
„lässt sich auf verschiedenen Benutzeroberflächen nicht vollständig scrollen“
„unübersichtliche Benutzeroberfläche“
„Ausstieg aus Programm unübersichtlich (Türsymbol)“
„Abgespeicherte Pateinten lassen sich nicht gut aufrufen/leicht wieder finden“
„Pateintenmasken lassen sich schlecht verlassen und aufrufen“
„Man muss in die Menu-Leiste um bestimmte Masken aufzurufen“
„Kerndoku nicht über einfachen Button erreichbar“
30
2.2.2 Documed.rh:
„Für Nutzer ist der Button „Speichern“ und „Nächster“ schwer zu handhaben, wenn man z.B. nicht speichert,
können Daten verloren gehen, ohne dass man darauf aufmerksam gemacht wird“
„Der „zurück“-Button ist nicht auf allen Formularen zu finden“
„Während das Programm läuft ist immer das „Menu“-Fenster offen und in der Taskleiste sichtbar, zusätzlich zum
aktuellen Eingabefenster – verwirrend und unnötig (insbesondere bei gleichzeitig laufenden anderen Programmen)“
„keine Prüfung, die ein Öffnen von mehreren Instanzen des „Documed.rh-Client“ verhindert (problematisch bei
Aufruf des Programms durch das KIS)“
„Client erzeugt Startmenu-Eintrag nicht unter „All Users“ – nach Installation evtl. kein Startmenu-Eintrag sichtbar“
„Auswahl „behandelnder Arzt“: muss jedes Mal neu ausgewählt werden, kein standardmäßiger Eintrag des angemeldeten Benutzers“
„Das „Eingabe-Datum“ wird nicht standardmäßig auf das aktuelle Datum gesetzt – muss immer eingetragen
werden, keine „Kalenderauswahl-Funktion“ vorhanden“
„Eingabefeld für Diagnose: keine Freitext-Erkennung/Drop-Down/anbieten häufiger Eingaben o.ä.“
„Nebendiagnosen: nur rheumatologische verfügbar, soll doch aber eigtl. jegliche Komorbidität abbilden? Evtl.
ICD10-Thesaurus?“
„Nebendiagnosen: muss standardmäßig ausgefüllt werden, wird aber selten genutzt – erzeugt immer Unvollständigkeitsmeldung“
„Checkboxen Operative Therapie: „keine operative Therapie“ kann gleichzeitig mit anderen OPs aktiviert sein
und erzeugt Fehlermeldung“
„Quickstep-Fenster: Fehlermeldung berücksichtigt nicht den Unterschied, zwischen „keine Auswahl“ und unplausibler „Mehrfachauswahl“; Cursor springt nicht immer auf das entsprechende Eingabefeld (z.B. „Erstkontakt“); Auswahl in den Drop-Down-Menus führt nicht zu Änderung im Dokument“
„Die Zuordnung der Zahlenwerte in der „VAS zur Untersuchereinschätzung“ ist unübersichtlich.“
„ Das Notizformular erscheint einzeilig, und der eingegebene Text daher unübersichtlich.“
2.2.2.1 Rheumadok:
„Feld für Diagnosensicherheit sollte besser auf die Hauptseite“
„Es gibt keinen Kerndoku-Bogen, Daten müssen verstreut über die verschiedenen Eingabemasken eingetragen
werden“
„Scores werden erst angezeigt, wenn „Score berechnen“ auf dem entsprechenden Formular gedrückt wurde“
31
„Patienten-Eingaben werden durch „Zurück“-Button ohne Warnung gelöscht“
„Möglichkeit für die Eingabe stattgehabter OP-Verfahren fehlt“
„Formular „Komorbidität“: keine Möglichkeit entsprechende Medikation einzutragen“
2.3
Patientenbefragung
2.3.1 Werte der Patientenselbstbeurteilung im Vergleich
In Tabelle 12 sind die Mittelwerte des FFbH und der beiden NRS des KD-Bogens der verschiedenen Erhebungsmethoden (PC vs. PP), sowie die Ergebnisse des Wilcoxon-Rangsummentest zur Analyse der verbundenen
Stichproben nach Software aufgeschlüsselt. Es zeigt sich bei keinem der betrachteten Instrumente (Total) und
auch für keins der Programme (Ardis, Documed.rh, Rheumadok) ein signifikanter Unterschied für die unterschiedlichen Erhebungsmethoden (PC vs. PP), die Mittelwerte und Standardabweichungen liegen eng beieinander. Exemplarisch sind in Abbildung 5 die Werte des mittels Paper-and-Pen (PP) gewonnenen FFbH´s gegen die
mittels Computer (PC) erhobenen Werte aufgetragen (farbkodiert nach Programm).
Tabelle 12: Mittelwerte mit Standardabweichung und Ergebnisse des Wilcoxon-Rangsummentests für verbundene Stichproben des FFbH, der NRS Schmerz und Gesundheitszustand im Methodenvergleich geordnet nach
Programm
Format
PC
FFbH (%)
MW ± Std. Abweichung
73,40 ± 22,28
NRS Schmerz
4,73 ± 2,64
NRS Gesundheitszustand
5,19 ± 2,36
PP
73,11 ± 22,85
4,93 ± 2,53
5,26 ± 2,30
Wilcoxon-Test
p= 0,282
p= 0,338
4,65 ± 2,20
Software
Ardis
PC
76,07 ± 17,92
p= 0,420
4,56 ± 2,40
PP
75,24 ±18,19
4,77 ± 2,40
4,77 ± 2,17
Wilcoxon-Test
p= 0,838
p= 0,351
5,04 ± 2,41
5,04 ± 2,47
Documed.rh
PC
68,94 ± 22,81
p= 0,322
5,09 ± 2,70
PP
69,97 ± 23,11
5,06 ± 2,60
Wilcoxon-Test
p= 0,571
p= 0,616
p= 0,283
PC
72,77 ± 21,26
4,80 ± 2,58
4,96 ± 2,50
PP
72,74 ± 21,56
4,92 ± 2,33
5,03 ± 2,32
Wilcoxon-Test
p= 0,709
p= 0,173
p= 0,078
Rheumadok
Total
32
Software
Softwa
re
Ardis
Documed
Rheumadok
Documed
Rheumadok
Ardis
1,00
PC-FFbH
0,80
0,60
0,40
0,20
0,00
0,00
0,20
0,40
0,60
0,80
1,00
PP-FFbH
Abbildung 5: Scatter-Plot der Papier- v.s PC-FFbH-Werte nach Software
2.3.1.1 Einfluss der Reihenfolge der Administration
In Tabelle 13 und Abbildung 6 sind die Werte der FFbH´s erneut im Methodenvergleich gegeneinander aufgetragen, geordnet nach Reihenfolge des Ausfüllens (PP-PC vs. PC-PP). Es zeigt sich kein Einfluss der Reihenfolge
auf die Korrelation von PC- und PP-FFbH.
Tabelle 13: Kein Einfluss der Reihenfolge auf die Ergebnise der PC- und PP-FFbH´s
Reihenfolge der Format-Administration
PP - PC
N
PC-FFbH (%)
171
Mittelwert
72,25
72,97
Std. Abweichung
21,73
21,69
Minimum
3,00
3,00
Maximum
100,00
100,00
25.
61,11
61,11
50. (Median)
77,78
77,78
75.
88,89
88,89
Perzentilen
Wilcoxon-Test
PC - PP
PP-FFbH (%)
175
N
p= 0,495
174
160
Mittelwert
73,30
72,50
Std. Abweichung
20,83
21,50
Minimum
31,00
26,00
Maximum
100,00
100,00
25.
58,33
56,50
50. (Median)
75,00
75,00
75.
94,20
91,67
Perzentilen
Wilcoxon-Test
p= 0,141
33
Reihenfolge der
Administration
PP - PC
PC - PP
PP - PC
1,00
PC-FFbH
0,80
0,60
0,40
0,20
0,40
0,60
0,80
1,00
l
nfo
ihe
Re ge
PP
PP-FFbH
PC
0,20
PC
0,00
PP
0,00
Abbildung 6: Kein Einfluss der Reihenfolge auf die Ergebnise der PC- und PP-FFbH´s
2.3.1.2 Einfluss des Geschlechts auf die Datenvalidität
In Tabelle 14 und Abbildung 7 sind die Werte der FFbH´s erneut im Methodenvergleich gegeneinander aufgetragen, geordnet nach Geschlecht. Es zeigt sich kein signifikanter Einfluss des Geschlechts auf die Korrelation von
PC- und PP-FFbH.
Tabelle 14: Kein Einfluss des Geschlechts auf Korrelation PC- vs. PP-FFbH
Geschlecht
Frau
N
PC-FFbH (%)
PP-FFbH (%)
257
242
Mittelwert
69,63
69,65
Std. Abweichung
21,43
21,74
3,00
3,00
Minimum
Maximum
Perzentilen
100,00
100,00
25.
55,56
52,78
50. (Median)
72,22
73,61
75.
86,11
Wilcoxon-Test
Mann
N
86,11
p= 0,681
92
89
Mittelwert
81,57
81,14
Std. Abweichung
18,18
18,78
Minimum
31,00
28,00
Maximum
Perzentilen
100,00
100,00
25.
70,14
70,83
50. (Median)
84,72
86,11
75.
Wilcoxon-Test
100,00
100,00
p= 0,500
34
Geschlecht
Mann
Frau
Frau
1,00
PC-FFbH
0,80
0,60
0,40
0,20
0,00
0,00
0,20
0,40
0,60
PP-FFbH
0,80
1,00
Frau
Ge s
n
Man
cht
chle
Abbildung 7: Kein nachweisbarer Einfluss des Geschlechts auf die Korrelation von PC- und PP-FFbH
2.3.1.3 Einfluss von Faktoren der Methodenkenntnis und Bewertung (ITErfahrenheit und Computerangst) auf die PC- und PP-FFbH-Ergebnisse
In Tabelle 15 und Abbildung 8 sind die Werte der FFbH´s erneut im Methodenvergleich gegeneinander aufgetragen, geordnet nach IT-Erfahrenheitsklassen (Userlevels). Es zeigt sich kein signifikanter Einfluss auf die Korrelation von PC- und PP-FFbH, auch nicht in den Gruppen mit geringer IT-Kenntnis. Bildet man die absoluten
Differenzen zwischen PC- und PP-FFbH und trägt sie gegen die im IT-Erfahrungsscore erreichte Punktzahl auf,
bestätigt sich diese Annahme (Abbildung 9).
35
Tabelle 15: Einfluss der EDV-Kenntnisse(3)
IT-User-Level
Neuling
N
Mittelwert
Std. Abweichung
Perzentilen
PC-FFbH (%)
66
PP-FFbH (%)
67
64,99
64,75
21,44
21,69
25.
49,31
50,00
50. (Median)
69,44
69,44
75.
80,56
Wilcoxon-Test
Anfänger
N
Mittelwert
Std. Abweichung
Perzentilen
43
41
70,40
69,90
23,33
23,04
25.
50,00
48,61
50. (Median)
72,22
72,22
75.
94,12
Wilcoxon-Test
Nutzer
94,44
p= 0,519
N
184
179
Mittelwert
76,46
76,92
Std. Abweichung
18,89
19,08
25.
64,09
66,67
50. (Median)
80,56
80,56
75.
91,67
91,67
Perzentilen
Wilcoxon-Test
Profi
82,35
p= 0,155
p= 0,305
N
6
5
93,98
92,78
7,12
8,00
25.
87,50
86,11
50. (Median)
95,83
91,67
Mittelwert
Std. Abweichung
Perzentilen
75.
100,00
Wilcoxon-Test
100,00
p= 1,00
3
IT-User-Level
EDV-Score
nicht auswertbar oder fehlend
N
Mean
Std. Deviation
Minimum
Maximum
Percentiles
25th
50th (Median)
75th
PC-FFbH
50
,6899
,24264
,03
1,00
,4722
,7361
,9167
PP-FFbH
39
,6770
,25876
,03
1,00
,4167
,7222
,9167
36
IT-User-Level
Neuling
Anfänger
Nutzer
Profi
1,00
PC-FFbH
0,80
0,60
0,40
0,20
ng
g
Anfän
er
r
Nutze
PP-FFbH
i
Prof
0,00 0,20
0,40 0,60
0,80 1,00
Neuli
0,00
er-L
IT-Us
evel
Abbildung 8: Kein Einfluss der EDV-Kenntnisse auf die Korrelation von PC- und PP-FFbH
Software
40,00
Ardis
Documed
Rheumadok
207
PC-FFbH - PP-FFbH (%)
30,00
20,00
10,00
0,00
0,00
10,00
20,00
30,00
40,00
50,00
IT-Erfahrung
Abbildung 9: Differenzen zwischen PC- und PP-FFbH´s aufgetragen nach Punktzahl im ITErfahrungsfragebogen, farbkodiert nach Programm
37
Auch die Höhe der „Computer-Angst“ (hier kategorisiert nach CARS-Fragebogen) scheint keinen Einfluss auf
die Reproduzierbarkeit der Daten in den verschiedenen Erhebungsmethoden (PC vs. PP) zu haben (Tabelle 16,
Abbildung 10 und Abbildung 11).
Tabelle 16: Einfluss von CARS-Kategorie
CARS-Bewertung
geringe ComputerAngst
PC-FFbH
93
PP-FFbH
90
Mittelwert
78,25
78,31
Std. Abweichung
19,25
19,70
Minimum
36,00
31,00
N
Maximum
Perzentilen
100,00
100,00
25.
61,11
63,19
50. (Median)
83,33
83,33
75.
94,44
Wilcoxon-Test
durchschnittliche
Computer-Angst
N
147
146
Mittelwert
73,65
73,49
Std. Abweichung
20,07
19,92
Minimum
11,00
17,00
Maximum
Perzentilen
100,00
100,00
25.
61,76
63,19
50. (Median)
77,78
77,78
75.
88,89
Wilcoxon-Test
hohe ComputerAngst
94,44
p= 0,424
N
88,89
p= 0,924
44
44
Mittelwert
62,85
62,81
Std. Abweichung
23,99
24,69
Minimum
17,00
14,00
Maximum
Perzentilen
100,00
100,00
25.
37,50
36,81
50. (Median)
65,28
65,60
75.
80,56
Wilcoxon-Test
82,08
p= 0,758
38
CARS_Bewertung
geringe Computer-Angst
durchschnittliche
Computer-Angst
hohe Computer-Angst
1,00
PC-FFbH
0,80
0,60
0,40
0,20
PP-FFbH
C
hohe
0,00 0,20
0,40 0,60
0,80 1,00
t
Angs
t
Angs
terompu
terompu
ge C
gerin
tliche
t
schnit
durch uter-Angs
Comp
0,00
Abbildung 10: Einfluss der Computer-Angst auf die Antworten des FFbH in den verschiedenen Erhebungsmethoden
Software
40,00
Ardis
Documed
Rheumadok
207
PC-FFbH - PP-FFbH (%)
30,00
20,00
10,00
0,00
0,00
20,00
40,00
60,00
80,00
100,00
CARS-Score
Abbildung 11: Differenz zwischen den verschieden erhobenen FFbH´s (PC-FFbH - PP-FFbH) aufgetragen
gegen die Punktzahl im CARS-Score
39
2.3.2 Datenqualität im Methodenvergleich
Es lässt sich zeigen, dass in den mittels PC erhobenen Daten insgesamt und durchschnittlich weniger fehlende
Einträge gezählt werden können (Mittelwert aller betrachteten Items ± Std. Abweichung: PC 7,11 ± 1,08% vs. PP
11,75 ± 0,69%, siehe Tabelle 17).
Tabelle 17: Anzahl der Fehler (fehlende Daten) des KD-Fragebogens im Methodenvergleich
PC
NRS Schmerzen
Fehler N
25
PP
%
Fehler N
%
6,7
39
10,4
NRS Gesundheitszustand
26
7,0
38
10,2
Beruf
27
7,2
48
12,8
Rauchverhalten
37
9,9
48
12,8
FFbH_Frage1
25
6,7
42
11,2
FFbH_Frage2
25
6,7
48
12,8
FFbH_Frage3
29
7,8
43
11,5
FFbH_Frage4
30
8,0
44
11,8
FFbH_Frage5
24
6,4
44
11,8
FFbH_Frage6
24
6,4
42
11,2
FFbH_Frage7
26
7,0
43
11,5
FFbH_Frage8
25
6,7
43
11,5
FFbH_Frage9
24
6,4
46
12,3
FFbH_Frage10
24
6,4
42
11,2
FFbH_Frage11
24
6,4
44
11,8
FFbH_Frage12
24
6,4
44
11,8
FFbH_Frage13
26
7,0
48
12,8
FFbH_Frage14
24
6,4
45
12,0
FFbH_Frage15
25
6,7
44
11,8
FFbH_Frage16
27
7,2
44
11,8
FFbH_Frage17
25
6,7
44
11,8
FFbH_Frage18
39
10,4
44
11,8
26,59 ± 4,04
7,11 ± 1,08
43,95 ± 0,63
11,75 ± 0,69
Mittelwert ± Std. Abweichung
2.3.3 Nutzerpräferenz der Patienten
Die Nutzerpräferenz wurde mit den unter 1.6.5 erläuterten Instrumenten erhoben. Zunächst werden die Antworten auf die dichotomisierten Items der PC- und PP-Evaluationsfragebögen gegeneinander aufgetragen. Danach
die kategorisierbaren Fragen (nach „Schulnoten“) der Methoden-Evaluation. Zuletzt folgt eine Übersicht über
die Daten des direkten Methodenvergleichs (Nutzerpräferenz).
2.3.3.1 Dichotomisierte Fragen
Die dichotom-gestellten Fragen des PC-(PP)-Evaluationsfragebogens lauteten:
8. „Benötigten Sie während der Bearbeitung des Programms (Fragebogens) Hilfe von Dritten?“
9. „Fanden Sie die Zeit, die die Vervollständigung des Fragebogens auf dem PC (mit Papier und Stift) insgesamt
gedauert hat, akzeptabel?“
40
10. „Wären Sie auch in Zukunft bereit, Fragebögen in dieser Form auf dem PC (mit Papier und Stift) auszufüllen?“
In Abbildung 12 sind die prozentualen Häufigkeiten der Antwort „Ja“ auf die genannten Fragen für die verschieden Methoden (PC vs PP) gegeneinander aufgetragen. Während am PC deutlich häufiger Hilfestellung benötigt
wurde, unterscheidet sich die Akzeptanz der benötigten Bearbeitungszeit und die Bereitschaft, in Zukunft erneut
diese Darstellungsform des KD-Fragebogens zu bearbeiten, nicht deutlich. Der Anteil von IT-Neulingen und Anfängern bei den Patienten, die Hilfestellung brauchten, ist erwartungsgemäß höher (Abbildung 13).
100,00
Antwort "JA" in %
80,00
60,00
40,00
20,00
0,00
PC
PP
PC
Hilfestellung
PP
Zeit
PC
PP
Bereitschaft
Abbildung 12: Antworten auf dichotome Fragen der Evaluationsfragebögen
IT-User-Level
Neuling
Anfänger
Nutzer
Profi
125
N Patienten
100
75
133
50
25
50
17
50
23
18
6
0
nein
0
ja
PC: Hilfestellung benötigt
Abbildung 13: Angabe benötigter Hilfestellung nach IT-Userlevel
41
2.3.3.2 Evaluation nach „Schulnoten“
Die Fragen 1-7 der Evaluationsfragebögen zur Beurteilung der beiden Methoden (PC vs. PP) sollten sich nach
Möglichkeit entsprechen (Anhang V) und waren nach Schulnoten zu beantworten, wobei „1“ jeweils der beste
und „6“ der schlechtest-möliche Wert war. Die Fragen „Wie einfach oder schwer war es, den Fragebogen auszufüllen“ und „Wie einfach oder schwer war es, das Programm zu bedienen“werden in Tabelle 18 und Tabelle 19
als Kategorie „Globales Urteil“ wiedergegeben. Weiterhin sind hier die Mittelwerte und Standardabweichungen
der Patientenurteile zu den jeweiligen Kategorien angegeben. In Abbildung 14 sind die Ergebnisse der Beurteilung des Papierfragebogens ersichtlich. Der Papier-Fragebogen bekommt, unabhängig von der Reihenfolge der
Methodenbearbeitung, durchschnittlich „gute Noten“ in den gewählten Beurteilungskriterien. In Abbildung 15
läßt sich sehen, dass alle drei Programme ebenfalls durchschnittlich „gute Noten“ mit leichten Abweichungen in
einzelnen Kategorien erzielen.
Tabelle 18: Mittelwerte der Antworten auf die Fragen 1-7 des PP-Evaluationsfragebogens
Reihenfolge der
Administration
(PP/PC)
PP - PC
Mittelwert
PC - PP
Std. Abweichung
Mittelwert
Total
Std. Abweichung
Mittelwert
Std. Abweichung
Allg.
Verständlichkeit
1,4695
Stift
Handhabung
1,5590
Klemmbrett
halten
1,6424
,83206
,94766
1,5494
Einfache
Korrektur
möglichkeit
1,3699
Lesbarkeit
1,2216
Anweisungen
befolgen
1,3855
Globales
Urteil
1,4277
,95606
,95422
,49578
,75207
,75732
1,7564
1,6728
1,4564
1,2945
1,3988
1,4663
,93285
1,09174
,98957
,80104
,55481
,74981
,90460
1,5092
1,6562
1,6575
1,4136
1,2576
1,3921
1,4468
,88313
1,02426
,97143
,87975
,52623
,74984
,83249
Reihe nfolge
$$$
Global
$
PP-Evaluati onsfragen
$
$$
Anwei sung en
$
PP - PC
PC - PP
Total
$$$
Lesbarkei t
$$$
Korr ig ier en
$$$
Klemmbrett
$ $ $
Sti ft
$$$
Verständl ichkeit
0,00
1,00
2,00
3,00
Durchschnittliche Be wertung
Abbildung 14: Mittelwerte der Antworten auf die Fragen 1-7 des PP-Evaluationsfragebogens, farbkodiert
nach Reihenfolge der Administration
42
Tabelle 19: Mittelwerte der Antworten auf die Fragen 1-7 des PC-Evaluationsfragebogens
1,4955
Reaktionszeit
des Programms
1,4865
Ausgaben
verständlich
1,9302
,72455
,81870
1,5514
Verständl
ichkeit
Software
Ardis
Std. Abweichung
Mittelwert
Documed.rh
Rheumadok
Total
Mittelwert
Std. Abweichung
Mittelwert
Std. Abweichung
Mittelwert
Std. Abweichung
1,3423
Lesbarkeit
1,4513
Anweisungen
befolgen
1,4018
Globales
Urteil
1,6726
1,24203
,65360
,90624
,81051
1,20596
1,5741
1,8778
1,5648
1,7248
1,6055
1,8981
,71683
,83390
1,29674
,90969
1,12111
,98148
1,34609
1,6923
1,5391
1,5043
1,7349
1,5556
1,5470
1,8974
1,04602
,85108
,88692
1,15910
,86547
1,08672
1,61023
1,5821
1,5329
1,7120
1,5298
1,5752
1,5178
1,8225
,85031
,83313
1,12522
,91722
,97123
,96894
1,40088
$
Global
PC-Evaluationsfrage n
Einfache
Korrektur
möglichkeit
Software
$$
$ $$ $
Anwei sung en
$
Ardis
$
Documed
Rheumadok
Total
$
$
Lesbarkei t
$
Korr ig ier en
$ $$
$
$$
$
$
Ausg aben
$
$$
$ $$
Reakti onszei t
$ $$ $
Verständl ichkeit
0,00
1,00
2,00
3,00
Durchschnittliche Be wertunge n
Abbildung 15: Mittelwerte der Antworten auf die Fragen 1-7 des PC-Evaluationsfragebogens, farbkodiert
nach benutztem Programm
2.3.3.3 Direktvergleich
In Tabelle 20 und Abbildung 16 sind die Häufigkeiten der im Direktvergleich angegebenen PatientenPräferenzen prozentual dargestellt. In Tabelle 22 und Tabelle 22 findet sich eine Aufschlüsselung nach Programm und Reihenfolge der Administration. Die Nutzer stellten unabhängig von Programm und Reihenfolge
mehr Komfort, sowie eine einfachere und schnellere Bearbeitung für die PC-Versionen des KD-Fragebogens
fest. Dementsprechend äußerten die meisten Befragten eine Präferenz für die PC-Variante. Die Lesbarkeit und
43
allgemeine Verständlichkeit wurde im Gegensatz dazu in der Mehrheit als nicht verschieden wahrgenommen.
Falls doch, dann war die Lesbarkeit und Verständlichkeit der Papierversion häufiger als besser bewertet worden.
Tabelle 20: Antwortenhäufigkeit beim Direktvergleich in %
PC
PP
39,3%
24,3%
Kein Unterschied
36,4%
40,9%
26,0%
33,1%
52,3%
24,8%
22,9%
bessere Lesbarkeit
16,4%
33,3%
50,3%
bessere Verständlichkeit
13,1%
16,9%
70,0%
insgesamt besser
47,5%
25,3%
27,2%
Präferenz in Zukunft
48,4%
26,3%
25,3%
komfortablere Handhabung
einfachere Bearbeitung
schnellere Bearbeitung
Präfer enz i n Zukunft kein U nter schi ed
Präfer enz i n Zukunft PP
Direktvergle ich PC vs. PP
Präfer enz i n Zukunft PC
insg esamt besser kein Unter schied
insg esamt besser PP
insg esamt besser PC
bessere Ver ständli chkei t kein Unter schied
bessere Ver ständli chkei t PP
bessere Ver ständli chkei t PC
bessere Lesbar keit kei n Unterschi ed
bessere Lesbar keit PP
bessere Lesbar keit PC
schneller e Bear bei tung kein Unter schi ed
schneller e Bear bei tung PP
schneller e Bear bei tung PC
einfacher e Bear bei tung kein Unter schi ed
einfacher e Bear bei tung PP
einfacher e Bear bei tung PC
komfortabler e Handhabung kei n Unterschi ed
komfortabler e Handhabung PP
komfortabler e Handhabung PC
0,0%
20,0%
40,0%
60,0%
Antwort (%)
Abbildung 16: Direktvergleich: PC (blaue Balken) vs. PP (rote Balken) vs. kein Unterschied (graue Balken)
Tabelle 21: Antwortenhäufigkeit beim Direktvergleich in % nach Programm
Software
komfortablere
Handhabung
PC
Ardis
42,9%
Documed.rh
36,8%
Rheumadok
38,2%
PP
20,0%
24,5%
28,2%
kein Unterschied
37,1%
38,7%
33,6%
PC
44,8%
37,4%
40,5%
PP
21,0%
30,8%
26,1%
kein Unterschied
34,3%
31,8%
33,3%
PC
57,1%
44,9%
55,0%
PP
20,0%
29,0%
25,2%
kein Unterschied
22,9%
26,2%
19,8%
44
bessere Lesbarkeit
insgesamt besser
Präferenz in
Zukunft
PC
Ardis
19,8%
Documed.rh
14,0%
Rheumadok
15,3%
PP
29,2%
34,6%
36,0%
kein Unterschied
50,9%
51,4%
48,6%
PC
14,3%
13,2%
11,9%
PP
14,3%
19,8%
16,5%
kein Unterschied
71,4%
67,0%
71,6%
PC
53,8%
38,1%
50,5%
PP
18,3%
30,5%
27,0%
kein Unterschied
27,9%
31,4%
22,5%
PC
56,2%
38,1%
50,9%
PP
20,0%
30,5%
28,2%
kein Unterschied
23,8%
31,4%
20,9%
Tabelle 22: Antwortenhäufigkeit beim Direktvergleich in % nach Reihenfolge
Reihenfolge der Administration
(PP/PC)
komfortablere
Handhabung
bessere Lesbarkeit
insgesamt besser
Präferenz in
Zukunft
PC
PP - PC
41,2%
PC - PP
37,2%
PP
16,4%
32,7%
kein Unterschied
42,4%
30,1%
PC
43,0%
38,6%
PP
18,2%
34,2%
kein Unterschied
38,8%
27,2%
PC
55,8%
48,7%
PP
19,4%
30,4%
kein Unterschied
24,8%
20,9%
PC
13,9%
18,9%
PP
29,1%
37,7%
kein Unterschied
57,0%
43,4%
PC
10,4%
16,0%
PP
14,0%
19,9%
kein Unterschied
75,6%
64,1%
PC
50,3%
44,6%
PP
19,6%
31,2%
kein Unterschied
30,1%
24,2%
PC
53,0%
43,6%
PP
20,1%
32,7%
kein Unterschied
26,8%
23,7%
2.3.4 Einfluss von IT-Erfahrung und Computer-Aversion auf das Antwortverhalten der Patienten zur Methodenpräferenz
Die Erhebung des Fragebogens zur Computer-Aversion (CARS) ergab annähernd eine Normalverteilung der
Werte (Abbildung 17), wohingegen die Punktsummen des IT-Erfahrungsscores eine zweigipflige Verteilung
aufweisen (Abbildung 18). Untersucht man die Abhängigkeit der IT-Scores vom Alter der Patienten ergibt sich
hier eine klare Tendenz. Dabei sinkt die Erfahrung mit Computertechnologie mit dem Alter (Abbildung 19) und
die Computer-Aversion steigt leicht an (Abbildung 20).
45
40
N Patienten
30
20
10
100,00
Mean =40,52
Std. Dev. =14,
702
N =286
50,00
Mean =15,23
Std. Dev. =10,
729
N =301
0
0,00
20,00
40,00
60,00
80,00
CARS-Score
Abbildung 17: Ergebnisse CARS-Fragebogens
50
N Patienten
40
30
20
10
0
0,00
10,00
20,00
30,00
40,00
EDV-Score
Abbildung 18: Die Ergebnisse EDV-Fragebogens
46
100
74
80
Alter
60
40
185
290 101
59
167
20
0
Neuling
Anfänger
Nutzer
Profi
IT-User-Level
Abbildung 19: Altersabhängigkeit der EDV-Kenntnisse
100
Alter
80
60
40
101
20
231 167
0
geringe ComputerAngst
durchschnittliche
Computer-Angst
hohe ComputerAngst
CARS-Bewertung
Abbildung 20: Altersabhängigkeit der Computeraversion
In Abbildung 21 wird deutlich, dass die hier als „Computer-Angst“ bezeichnete Aversion gegen PC-Technologie
vom IT-Erfahrenheitsgrad der Patienten abhängig ist.Dabei haben „IT-Unerfahrene“ eine Tendenz zu höheren
Werten bei der PC-Aversion. Die Präferenz für die Papierversion ist, wie in Tabelle 23 ersichtlich, ebenfalls
eindeutig von der PC-Aversion abhängig.
47
100,00
CARS-Score
80,00
60,00
40,00
231
20,00
0,00
Neuling
Anfänger
Nutzer
Profi
IT-User-Level
Abbildung 21: Mittelwerte und Spanweiten der Punktzahl im CARS-Fragebogen nach Zuordnung der Patienten zu einer IT-Erfahrungsstufe
Tabelle 23: Direktvergleich der Methoden nach Höhe der Computerangst
CARS-Bewertung: Computer-Angst
komfortablere
Handhabung
bessere Lesbarkeit
insgesamt besser
Präferenz in
Zukunft
PC
gering
58,4%
durchschnittlich
34,8%
hoch
18,6%
PP
10,1%
26,2%
51,2%
kein Unterschied
31,5%
39,0%
30,2%
PC
60,0%
34,8%
18,6%
PP
12,2%
29,1%
51,2%
kein Unterschied
27,8%
36,2%
30,2%
PC
74,4%
46,1%
20,9%
PP
10,0%
27,7%
53,5%
kein Unterschied
15,6%
26,2%
25,6%
PC
21,1%
14,8%
9,3%
PP
23,3%
35,9%
60,5%
kein Unterschied
55,6%
49,3%
30,2%
PC
19,1%
10,7%
7,0%
PP
6,7%
18,6%
34,9%
kein Unterschied
74,2%
70,7%
58,1%
PC
66,3%
44,3%
11,6%
PP
11,2%
27,9%
58,1%
kein Unterschied
22,5%
27,9%
30,2%
PC
67,4%
45,0%
14,0%
PP
11,2%
28,6%
60,5%
kein Unterschied
21,3%
26,4%
25,6%
48
2.3.5 Hilfestellungsfrequenz bei der Bearbeitung des PC-KD-Bogens
Die Häufigkeit und Art der benötigten Hilfestellungen bei der Bearbeitung des KD-Fragebogens mit den drei
Programmen rangierte zwischen einer komplett selbstständigen Bearbeitung (nach Aufrufen der Eingabemaske
für den Patienten durch die Studienmitarbeiter) und einer vollständig-assistierten Bearbeitung (teilweise mit
Führen der Maus durch die Studienmitarbeiter o.ä.). In Tabelle 24 lässt sich die Datenqualität für die Erfassung
dieses Merkmals an der Anzahl der fehlenden Einträge ablesen (>30% fehlende Daten). Weiterhin ist hier und
grafisch in Abbildung 22 die Zuordnung der Patienten zu Gruppen mit einer bestimmten Inanspruchnahme von
Hilfe absolut und prozentual bzw. absolut (Grafik) ersichtlich. In Tabelle 25 findet sich die mittlere Hilfestellungsfrequenz für die Patienten, denen eine selbstständige Bearbeitung gelang nach Programmen aufgetragen.
Tabelle 24: Art und Frequenz der Hilfestellung
N Patienten
Bemerkung
keine Hilfe notwendig
mehrfache Hilfestellung
>10 Hilfestellungen
Bearbeitung nur mit Hilfe möglich
Total
%
86
24,5
124
35,3
5
1,4
13
3,7
228
65,0
Fehlende Einträge
123
35,0
Total
351
100,0
Tabelle 25: Durchschnittliche Anzahl der Hilfestellungen bei selbstständigem Bearbeiten der Programme
Software
Ardis
Mittelwert
1,1495
Std. Abweichung
1,67559
Documed.rh
3,1698
2,86045
Rheumadok
2,6667
3,01386
Total
2,0415
2,55189
120
100
N Patienten
80
60
40
20
0
keine Hilfe notwendig
mehrfache Hilfestellung
>10 Hilfestellungen
Bearbeitung nur mit Hilfe
möglich
Hilfestellungsfrequenz während der KD-Fragen Bearbeitung
Abbildung 22: Häufigkeit der Hilfestellungen
49
2.3.6 Zeit der Bearbeitung des PC-KD-Bogens
Die mittlere Zeit in Minuten, die zur Bearbeitung der KD-Fragen am PC mit dem jeweiligen Programm benötigt
wurde ist aus Tabelle 26 ersichtlich. In der 1. Spalte ist zusätzlich die Anzahl der auswertbaren Datensätze angegeben, da für das Programm „Documed.rh“ deutlich weniger Datensätze dokumentiert wurden (<50%). Die
mittlere Zeit, die zum Vervollständigen der KD-Bögen am PC mit den drei Programmen benötigt wurde beträgt
als 5,4 ± 3,5 Minuten. Ardis liegt hier darunter, während Documed.rh längere Bearbeitungszeiten zu erfordern
scheint.
Tabelle 26: mittlere Ausfüllzeit des KD-Fragebogens mit den Programmen
Software
Ardis
Auswertbare Datensätze
Std. Abweichung (min)
Mittlere Zeit (min)
111/114
4,3964
2,67405
Documed.rh
47/117
7,5532
4,51956
Rheumadok
84/120
5,3929
3,34382
242
5,3554
3,51844
Total
2.3.7 Patienteneinschätzung zu Aspekten der Internetsicherheit und
Internetnutzung in der Patientenbetreuung
Die Fragen zur Einschätzung von Informationen und Sicherheit (nach „Schulnoten“, 1=beste, 6=schlechteste
Wertung, Tabelle 27) im Internet zeigten ein mittleres bis niedriges Vertrauen in das Medium allgemein (3,14 ±
1,16), sowie etwas bessere Werte für die Einschätzung der Informationsintegrität des Mediums (2,67 ± 0,87) bei
gleichzeitig erhöhter Angst vor Informationsmißbrauch (3,94 ± 1,26).
Tabelle 27: Ergebnisse der Befragung zu Aspekten der Patientenwahrnehmung des Internets
Vertrauen in das
Medium Internet
201
Verlässlichkeit von
Informationen im
Internet
199
Datenschutz problematisch
178
Mittelwert
3,1393
2,6683
3,9438
Median
3,0000
3,0000
4,0000
1,00
1,00
1,00
N
Minimum
Maximum
Std. Abweichung
6,00
6,00
6,00
1,15780
,87071
1,25648
50
IT-User-Level
CARS-Score
80,00
Neuling
Anfänger
Nutzer
Profi
Neuling
Anfänger
Nutzer
Profi
60,00
40,00
20,00
0,00
1
2
3
4
5
6
Missbrauchsangst
Abbildung 23: Abhängigkeit der Angst vor Informationsmissbrauch im Internet vom CARS-Score
In Abbildung 23 ist zu erkennen, dass zwar auch Patienten mit geringer Aversion gegenüber Computertechnologie (niedriger CARS-Score) dem Datenschutz im Internet kritisch gegenüber stehen, die Missbrauchsangst aber
mit dem CARS-Score tendenziell steigt. Insbesondere Technologie-Unerfahrene (Neuling, Anfänger) erreichen
hohe Werte im CARS-Score und geben eine ausgeprägtere Angst vor Datenmissbrauch an. Dahingegen ist bei
den erfahreneren „Nutzern“ die Abhängigkeit von CARS und Datenmissbrauchsangst geringer. Bei den „Profis“
ergibt sich keine Abhängigkeit der durchweg niedrigen CARS-Werte von den teilweise kritischen Einschätzungen der Internet-Datensicherheit.
Insgesamt waren dennoch mehr 60% der Patienten an einer zugriffsgeschützten Möglichkeit zum Abruf von
Behandlungsdaten für sich und ihre behandelnden Ärzte interessiert (Tabelle 28und Abbildung 24). Immerhin
knapp die Hälfte der Patienten erklärte sich bereit, Internet-Befragungen durchzuführen (Tabelle 29 und
Abbildung 25).
Tabelle 28: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, dass Ihre Behandlungsdaten
für Sie und Ihre behandelnde Ärzte zugriffgeschützt im Internet verfügbar sind ?“
Gesundheitsdaten auf Server im Internet für Ärzte verfügbar
Valide
Anworten
„unbekannt“
„Nein“
N Patienten
11
% von N
3,1
% der validen
Antworten
5,4
31,2
64
18,2
„Ja“
130
37,0
63,4
Total
205
58,4
100,0
Fehlende Angaben
146
41,6
Total
351
100,0
51
% der validen Antworten
60
40
20
0
unbekannt
nein
ja
Gesundheitsdaten auf
Server im Internet abrufbar
Abbildung 24: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, dass Ihre Behandlungsdaten für Sie und Ihre behandelnde Ärzte zugriffgeschützt im Internet verfügbar sind ?“
Tabelle 29: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, Fragebögen zu Ihrer Gesundheit
im Internet zu bearbeiten und ausgewertet zu bekommen?“
Fragebögen zur Gesundheit im Internet
bearbeiten
N Patienten
12
% von N
3,4
% der validen
Antworten
5,9
„Nein“
94
26,8
46,5
„Ja“
96
27,4
47,5
Total
202
57,5
100,0
Fehlende Angaben
149
42,5
Total
351
100,0
% der validen Antworten
Valide
Anworten
„unbekannt“
50
40
30
20
10
0
unbekannt
nein
ja
Fragebögen im Internet
beantworten
Abbildung 25: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, Fragebögen zu Ihrer Gesundheit im Internet zu bearbeiten und ausgewertet zu bekommen?“
52
Diskussion
2.4
Diskussion der Studienplanung
Die Erhebung und Auswertung von Assessment-Instrumenten sind in der klinischen Routine mit einem relativ
großen Aufwand verbunden. Dies gilt für alle am Prozess der Datenerhebung und Auswertung beteiligten Personen, für die Patienten ebenso wie für die Angehörigen der betreuenden Gesundheitsberufe und eventuell vorhandene Dokumentations-Fachkräfte. Dabei bleibt der Nutzen des Assessments für die meisten der Parteien abstrakt
und ist teilweise nur schwer vermittelbar. Die Motivation der mit der Aufgabe beschäftigten Patienten, Ärzte und
Assistenzkräfte stellt daher eine Herausforderung für Teamleiter einer dokumentierenden Einrichtung dar.
Anders als bei klinischen Studien, bei denen eine regelmäßige Kontrolle der Datenqualität erfolgt und bei der die
erfolgreiche Dokumentation Vorraussetzung für die Erfüllung der Studienziele ist, gab es in der Regelversorgung
von Patienten mit rheumatischen Erkrankungen bis vor kurzer Zeit keinen Anreiz oder gar eine Verpflichtung,
ein regelmäßiges Assessment durchzuführen. Gleichzeitig ist man sich aber schon seit langer Zeit bewusst, wie
wichtig die regelmäßige und standardisierte Datenerhebung und -verarbeitung zur Qualitätssicherung und Versorgungsforschung in der klinischen Rheumatologie ist. Mit international standardisierten Indices und Scores
wird daher im klinischen Alltag versucht komplexe Probleme und pathologische Zustände begreifbar und vergleichbar zu machen.
Die Datenerhebung durch den Patienten selbst („Self-Assessment“) ist dabei naturgemäß unverzichtbar und eine
ausreichende Motivation der Patienten gelingt in der Regel einfach, wenn die Vorteile der Dokumentation für die
klinische Beurteilung des Krankheitsverlaufs erläutert werden. Diese motivierende Erklärung muss im Verlauf
ggf. wiederholt oder durch besondere Zuwendung verstärkt werden, ist aber in den meisten Fällen durch eine
einfache Informationsbroschüre bereits zufreidenstellend bewältigt.
Anders kann es sich bei Mitarbeitern verhalten, die zwar mit der Datenerhebung und Auswertung betraut sind,
dies aber oft nicht als Kerngebiet ihres Leistungsspektrums erfahren (z.B. Angehörige von Pflegeberufen oder
Mediziner in der Ausbildung). Solange hier der Vorteil der Datenerhebung für den individuellen Verlauf eines
Patienten verborgen bleibt, handelt es sich um eine ungeliebte und daher, sofern adäquate Kontrollmechanismen
nicht vorhanden sind, nicht selten unterlassene oder unvollständig ausgeführte Aufgabe im klinischen Alltag.
Einige Zentren lösen dieses Problem durch den Einsatz von speziell geschultem Personal bzw. Dokumentationsfachkräften.
Der Einsatz von IT kann diese Probleme einer kontinuierlichen und alltäglichen Dokumentation von klinischen
Daten nicht lösen. Jedoch können geeignete Systeme eine Entlastung und eine Verbesserung der Motivation der
Mitarbeiter und Patienten erreicht werden:
1.
Durch Automatisierung der Datenerhebung und -auswertung 24,
2.
sofortige Plausibilitätskontrolle und Fehlerkorrektur 24, sowie
3.
durch unmittelbare und aufbereitete Ergebnispräsentation und Darstellung von Vergleichsdaten im Querund Längsschnitt 1.
Gerade die unter 2. und 3. genannten Aspekte sind ohne IT-Einsatz im klinischen Alltag kaum zu bewältigen. Die
Möglichkeit der sofortigen und regelmäßigen Auswertungen korrekt erhobener Daten im Vergleich zu intra- und
53
interindividuellen Datensätzen im unmittelbaren Behandlunskontext (Point-of-Care) stellt daher eine der größten
Chancen für Behandler und Patienten gleichermaßen dar, die der IT-Einsatz bewerkstelligen kann.
Weitere Vorteile eines IT-Einsatzes zur Erhebung von Assessment-Daten sind:
1.
Fehler durch falsche Datenerhebung und -verarbeitung können mittels Plausibilitätsprüfungen vermieden
werden und der Schulungsbedarf der Mitarbeiter bzgl. einzelner Assessment-Instrumente wird dadurch reduziert 25.
2.
IT ist bei der Archivierung und Auswertung großer Datenmengen unverzichtbar und der Einsatz eines Dokumentationssystems umso effizienter, je früher der Datentransfer in die elektronische Form stattfindet und
Doppeldokumentationen vermieden werden 26.
Ähnlich wie in vielen anderen Bereichen des professionellen und privaten Lebens findet IT meist dann eine
Daseinsberechtigung, wenn sie zu einer wahrnehmbaren Verbesserung der Erfahrungswelt der Nutzer führt. Da
wir von der Annahme ausgehen, dass die Motivation der Mitarbeiter unserer Abteilung mit Dokumentationssoftware zu arbeiten direkt vom erwarteten Nutzen für die alltägliche Patientenversorgung zusammenhängt,
sollte vor dem Einsatz in der Regelversorgung ein Vergleichstest der zu diesem Zeitpunkt zur Distribution bereitstehenden Softwarelösungen erfolgen. Der Vergleich sollte dabei nach Kriterien der Anwender stattfinden, also
im Sinne einer Usability-Analyse durchgeführt werden (1.1).
Die ursprüngliche Studienplanung sah vor, die drei Dokumentationsprogramme im stationären und ambulanten
Bereich zu testen und vergleichend bzgl. ihrer Funktionalität in diesem Umfeld zu evaluieren. Dabei sollten
Daten zu Beginn und Ende des stationären Aufenthaltes am Patientenbett erhoben werden, was bis dahin (und
noch heute) mittels eigens entworfener Papier-Vordrucke geschah (und geschieht). Einer der unmittelbaren Vorteile wäre gewesen, dass diese im Anschluss nicht mehr in die Patienten-Akte und die Datenbank der Abteilung
zur internen Versorgungsforschung hätten eingepflegt werden müssen. Die Daten sollten dem behandelnden Arzt
jederzeit in der Patientenbetreuung zur Verfügung stehen und weitere Möglichkeiten für die aktuelle Verlaufsdokumentation bieten. Ein weiterer antizipierter Vorteil des IT-Einsatzes wäre der erheblich geringere Arbeitsaufwand bei der Datenauswertung gewesen. Damit ließen sich in weit größerem Maße als vorher Quer- und Längsschnitt-Analysen der gewonnenen Datensätze durchführen, da alle Parameter in einer abfragebereiten Form
(elektronische Datenbank) sofort nach der Erhebung zur Verfügung stünden 1.
Auf den PC´s der Abteilung war bereits während der Planungsphase dieser Untersuchung das Programm Documed.rh als Server-basierte Version über das Intranet aufrufbar und wurde auf der Station und in der Ambulanz
erprobt. Zu Beginn des Studienzeitraums waren so ca. 1200 Patienten mit einer unterschiedlichen Anzahl von
Datensätzen/Erhebungen in der Datenbank aufrufbar. Die Software Rheumadok war auf einzelnen Rechnern
unserer Abteilung als Arbeitsplatzversion installiert und ebenfalls (jedoch in deutlich geringerem Maße) probatorisch in der Patientenversorgung eingesetzt worden.
Es war weiterhin eine W-LAN-Infrastruktur auf der Station aufgebaut worden, in die ein Tablet-PC und ein Laptop integriert worden waren. Eine ausschließliche IT-Dokumentation (i.S. einer elektronischen Patientenakte) auf
der Station und in der Ambulanz war aber bis Ende 2005 aus verschiedenen Gründen jedoch nicht realisierbar
gewesen:
54
1.
Die benötigte Hardware stand bei der Befunderhebung am Patientenbett nicht immer in ausreichender Anzahl (da die Geräte teilweise in der Ambulanz gebunden waren oder mehr als 2 Assessments gleichzeitig auf
der Station stattfinden mussten) zur Verfügung
2.
W-Lan: Die Performance der Server-basierten Software Documed.rh wurde durch das eingesetzte W-LANNetz (IEEE 802.11b, max. Übertragungsrate 11mBit/s) im Vergleich zu den kabelgebundenen LANRechnern (Übertragungsrate bis zu 100mBit/s) so stark eingeschränkt, dass einige Anwender dies als unzumutbar ablehnten. Weiterhin gab es, trotz intensiver Bemühungen durch zusätzliche Hardware (es wurden
insgesamt 3 sog. „Repeater“ im Nachhinein nachgerüstet) in vielen Bereichen der Station „Funklöcher“ und
Netzschwankungen, die zu einem unvorhersehbaren Datenverlust führen konnten und die „Anwendererfahrung“ mit Documed.rh zusätzlich (durch das Programm unverschuldet) beeinträchtigt hätten.
3.
Tablet-PC: Der Tablet-PC wurde von den Nutzern nicht wie erwartet akzeptiert. Da die getestete Software
nicht für die Bedienung an einem Tablet-PC mit Stifteingabe konzipiert war, konnten sich die eventuellen
Vorteile dieser Bedienungsmethode nicht abbilden lassen. Vielmehr führte die Stiftbedienung bei der relativ
kleinen Darstellung von grafischen Bedienungselementen auf dem 10,4-Zoll-Monitor des Tablet-PC zu großen Präzisionsproblemen. Ohne regelmäßige (zeitaufwendige) Nachkalibrierung des Systems waren Fehleingaben häufig. Die Anwender nutzten daher in der Regel eine zusätzlich verbundene Maus.
4.
Der Zeitbedarf zur Mitarbeiter-Einarbeitung und kontinuierlichen Datenpflege war beim Einsatz neuer ITSysteme deutlich höher, als die konventionelle Papier-Dokumentation weiterzuführen
5.
Zur Sicherstellung der Krankenhaus-internen Dokumentation war eine Doppeldokumentation in der Stations-Akte notwendig. Für die aktuell-stationäre Versorgung war die IT-Dokumentation daher scheinbar ohne
Bedeutung, eine zusätzliche Förderung durch den Kostenträger, bzw. die Klinik in Bezug auf die entstehenden Personal- und Material-Kosten konnte nicht erreicht werden. Der gewonnene Nutzen durch die leichtere
Auswertbarkeit der Datensätze wurde als „akademisch“ bewertet.
6.
Zuletzt stellte insbesondere der zu Beginn des IT-Einsatzes teilweise noch in Evaluation befindliche Entwicklungsstand der Software eine nicht unerhebliche Mehrbelastung bei der Dokumentation dar. So wurden
z.B. durch Softwareaktualisierungen und -anpassungen (sog. „Updates“) des Programms Documed.rh zwischen 2005 und 2007 die Benutzeroberfläche und -führung so nachhaltig verändert, dass die Nutzer teilweise neu unterwiesen werden mussten.
In der stationären Routine führten die o.g. Schwierigkeiten zu einer nur sporadisch angewandten ITDokumentation, die keinesfalls dem Anspruch der stationären Dokumentation, bzgl. Praktikabilität, Zugangsmöglichkeit und Effizienz entsprach. Der entstehende Mehraufwand ließ sich nicht mit den Ressourcen der
„normalen“ klinischen Versorgung decken, durch persönliches Engagement einzelner Mitarbeiter war lediglich
ein Testeinsatz der Software realisierbar. Weiterhin konnte die Zusammenarbeit mit dem Rheumazentrum in
Würzburg nicht wie geplant realisiert werden. Nachdem man sich für den Einsatz einer anderen Dokumentationssoftware entschieden hatte, wurde dort keines der drei getesteten Programme zur Dokumentation eingesetzt.
Aus diesen Gründen wurde die ursprüngliche Studienplanung verändert. Die Arbeit mit den Systemen sollte
zunächst durch zusätzliche Forschungskräfte geschehen, bis sich eines der Programme als praxisnahe und praktikable Lösung etabliert und bewährt hätte. Weiterhin wurde gefordert, dass die Patienten das Self-Assessment
55
direkt in den Programmen vervollständigen sollten, um damit einen der wesentlichen Vorteile der IT-Lösungen
erschließen zu können.
Es sollte neben der Anwender- weiterhin auch eine Patienten-Befragung stattfinden, um den Vorgang der Datenerhebung mit der Software und die gewonnenen Daten selbst zu evaluieren. Dabei orientiert sich unser Studiendesign an vielen bereits zu dieser Thematik erfolgreich durchgeführten Studien
25, 27
. Auch in unserer Untersu-
chung sollte eine Präferenz der Patienten und Anwender ermittelt, sowie die Praktikabilität der Systeme
miteinander verglichen werden 3. Am Ende sollte möglichst die Entscheidung zu Gunsten eines der verwendeten
Systeme für den zukünftigen Routine-Einsatz auf der Station und in der Ambulanz stehen. Auf dieser Basis wurde das ursprüngliche Planungskonzept modifiziert und die Studie in der hier präsentierten Form durchgeführt.
Der Ansatz, das fachärztliche Personal nicht mit der Durchführung der Studie und der Anwender-Evaluation zu
betrauen, zieht Folgen für die Aussagekraft der Untersuchung nach sich. Die anstattdessen eingearbeiteten Anwender (Assistenzärzte, PJ-Studenten und Medizin-Studenten fortgeschrittener klinischer Semester) haben einen
anderen Blickwinkel auf und teilweise andere Erwartungen an die Leitsungsfähigkeit der getesteten Software.
Dies wird u.a. deutlich, wenn man das „schlechte“ Abschneiden von Ardis in der ISONORM-Nutzerbefragung
betrachtet. Insbesondere die „Aufgabenangemessenheit“ wird hier als Manko gesehen, was ursächlich möglicherweise auf den großen Funktionsumfang der als elektronische Patientenakte konzipierten Software zurückzuführen ist (mehr dazu siehe 2.6.1). Andererseits muss man auch in Betracht ziehen, dass die Dokumentationsaufgaben ohnehin nach Möglichkeit delegiert werden sollten, um die „Ressource Arzt“ im Alltag der
Patientenbetreuung zu schonen.
Die in dieser Studie gemachten Aussagen zur Software-Ergonomie müssen vor diesem Hintergrund betrachtet
werden. Es handelt sich auch wegen der geringen Anzahl befragter Anwender nur um eine Sammlung persönlicher Meinungen an einem Zentrum. Diese sind in unserem Fall in der Mehrzahl von sehr speziell für die Eingabe
einer begrenzten (jedoch relevanten) Datenmenge geschulten Anwendern abgegeben worden. Programmfunktionen die darüber hinausgehen wurden hier nicht evaluiert!
2.5
Diskussion der Studiendurchführung
Bei der Präsentation der einzelnen Software-Lösungen ergeben sich verschiedene Möglichkeiten bzgl. des Mediums. So ist der Einsatz eines stationären PCs oder eines mobilen Laptops, an denen mithilfe der Maus gearbeitet
wird ebenso möglich wie die Nutzung eines Tablet-PC mit Berührungs-sensitiven Monitor und Stiftbedienung.
Vorhergegangene Studien konnten zeigen, dass die Patienten nicht über Erfahrungen mit den Medien verfügen
müssen, um zufrieden stellend und valide mit den Geräten arbeiten zu können
15
. An der Heinrich-Heine-
Universität in Düsseldorf wurde das dort entwickelte Programm „Documed.rh“ in einer Studie mit ähnlicher
Fragestellung an Patienten mit drei verschiedenen rheumatologischen Krankheitsbildern überprüft 8. Dabei zeigte sich eine gute Datenqualität und -validität der elektronisch erhobenen Daten. In unserer Untersuchung wurde
ein Laptop eingesetzt, der bei ähnlichem Platzbedarf und vergleichsweise geringeren Kosten ebenfalls ein adäquates Medium zum Einsatz in verschiedensten Umgebungen darstellt. Problematisch kann für Patienten mit
Einschränkungen der Beweglichkeit der Mauseinsatz sein, ähnliche Probleme sind aber auch bei anderen Formen der Administration zu erwarten (Stifteingabe, Touchscreen etc.).
56
Die Nutzer wurden unabhängig von Ihrer Diagnose ausgewählt, um eine praxisnahe Nutzergruppe abbilden zu
können. Im Routine-Einsatz sollen die untersuchten Software-Lösungen in Zukunft einem ebenso breiten Patientenspektrum angeboten werden. Daher war zunächst nur der Einsatz von Diagnose-unabhängigen AssessmentInstrumenten zulässig. Als solche kamen insbesondere die im KD2006-Datensatz enthaltenen Assessment-Daten
in Frage, die auch mit allen drei Programmen lückenlos dokumentierbar waren. Für eine große Anzahl an mit
den Programmen zu bewerkstelligenden Aufgaben, insbesondere beim Programm Ardis, konnten hier also keine
Erfahrungen gesammelt werden. Dies liegt u.a. auch daran, dass die Programme für die Untersuchung auf dem
Studienrechner ohne Installation einer Kommunikationsschnittstelle zur Verfügung standen. Export- und Importfunktionen, die Kommunikationsmöglichkeiten mit Krankenhaus- und Praxissoftware wurden nicht implementiert. Aus unserer Sicht war es zunächst wichtiger, eine Usability-Analyse durch die Anwender zu erstellen, da
für diese die genannten technischen Aspekte ohnehin in der Regel nicht nachvollziehbar oder ersichtlich sind.
Die hier erhobenen Beurteilungen der Software-Ergonomie gehen alle von einer „Einzelplatz“-Version der Programme aus, bei der alle Daten händisch eingegeben wurden.
2.6
Diskussion der Studienergebnisse
2.6.1 Der ISONORM-Fragebogen
Für die summative Beurteilung einer Software werden bei Einsatz des ISONORM 9241/10-Fragebogens eigentlich mindestens 20 Anwender benötigt, diese Zahl an Anwendern einzuarbeiten gelang hier leider nicht. Deshalb
wäre hier eigentlich nur eine formative Evaluation möglich gewesen. Aus Gründen der Darstellung haben wir
dennoch eine summative Analyse präsentiert, bei der sich die folgenden Aussagen aber nur mit Einschränkung
zulässig sind.
Die Mittelwerte in Abbildung 4 auf Seite 30 zeigen, dass die Software Ardis in allen abgefragten Kategorien
etwas niedrigere Werte erzielt, als die beiden anderen Programme. Insgesamt sind die Urteile der hier befragten
Nutzer jedoch zweigeteilt - eine Gruppe gibt der Software gute bis überdurchschnittliche „Noten“. Drei weitere
Anwender verteilen hier aber die im Gesamtfeld schlechtesten Bewertungen, so dass die durchschnittliche Bewertung zu Gunsten von Documed.rh und Rheumadok ausfällt. Gründe hierfür liegen evtl. in nichtausreichender Schulung der Anwender im Programm Ardis, wobei alle Anwender die gleiche Anzahl Datensätze
zum Erlernen jeder Software unter Anleitung bewerkstelligen mussten. Es muss angeführt werden, dass es sich
bei den sehr negativ-benotenden Testanwendern um solche handelt, denen der Einstieg in Ardis wegen der Funktionsfülle schwerfiel. Eine mögliche Schlussfolgerung liegt also in einer flacheren Lernkurve für das Programm
Ardis.
2.6.2 KD2006-Daten: Validität und Qualität im Vergleich
Die Qualität der erhobenen KD2006-Daten zeigt im Methodenvergleich eine deutliche Überlegenheit der elektronisch dargebotenen Assessment-Instrumente (7,11 ± 1,08% fehlende Daten im PC vs. 11,75 ± 0,69% auf Papier). Dies liegt in unserer Untersuchung aber auch an der Betreuung durch Studienpersonal während der Arbeit
an der Software, die während des Ausfüllens der Papierversionen nicht zur Verfügung stand. Plausibilitätskontrolle ist dennoch eine Domäne der IT-Befragung und wir glauben, dass unser Ergebnis hierbei durchaus eine
Aussagekraft hat.
57
Die Validität der Daten ist ebenso wie in anderen Untersuchungen sehr gut
8, 25, 28-30
. Es lässt sich auch in den
gebildeten Subgruppen (Geschlecht, Reihenfolge der Administration, Computer-Angst, IT-Erfahrungsstand) kein
Einfluss auf das Antwortverhalten mit unseren Daten nachweisen, der die Äquivalenz der elektronisch- zu den
konventionell-gewonnenen Assessments in Frage stellen würde.
Die Repräsentatitivität der Daten ist hier, im Vergleich zu anderen Formen der IT-gestützten Befragung aufgrund
des Studiendesigns, aber auch für die alltägliche Routine, kein Problem 2.
2.6.3 Nutzerpräferenz
Eindeutig lässt sich jedoch ein Einfluss der PC-Aversion auf die Bereitschaft einer Bearbeitung der elektronischen Form der Instrumente nachweisen. Dabei verwundert es nicht, dass Patienten mit ausgeprägter Hemmung
gegenüber der PC-Technologie auch in Zukunft die Papierversion bevorzugen würden. Mit diesen Ausnahmen
zeigen unsere Daten jedoch auch in der Nutzerpärferenz gegenüber der konventionellen Methode überlegenene
IT-Applikationen. Insbesondere im Direktvergleich und im Vergleich der Aussagen zu Schwierigkeiten bei der
Bearbeitung haben sich die befragten Patienten mehrheitlich für den PC-Einsatz ausgesprochen. Dies entspricht
den Daten, die in vielen anderen Vergleichsstudien zur Evaluierung von PC-Versionen erprobter PapierAssessments von Patienten gewonnen werden konnten 1, 29, 30.
2.6.4 Wahrnehmung der hier eingesetzten Medien und des Internet
durch die befragten Patienten
Unsere Untersuchung zeigt, dass Patienten einer rheumatologischen Versorgungseinrichtung unterschiedliche
Erfahrungen mit moderner Informationstechnologie (IT) haben. Dabei reicht die Spannweite von professionellen
Anwendern von IT bis zu komplett IT-Unerfahrenen. Die Mehrheit weist dabei einen mittleren Erfahrungsgrad
und eine mittlere Aversion gegen das Medium auf. Die beiden Dimensionen hängen direkt voneinander und vom
Alter der Patienten ab. Ältere haben dabei geringere IT-Erfahrung und höhere Grade der Aversion als jüngere
Befragte. Patienten mit niedriger IT-Erfahrung neigen zu ausgeprägterer PC-Aversion. Aufgrund unserer Daten
kommen wir zu dem Schluss, dass für die Mehrheit der Befragten ein selbstständiges Bearbeiten von Assessment-Instrumenten an einem PC durchaus sinnvoll und möglich ist. Wir konnten zeigen, dass dabei valide Daten
gewonnen werden können und die Patienten mehrheitlich diese Methode bevorzugen.
Die Einschätzungen der befragten Patienten zu Sicherheitsaspekten und Zukunftschancen von IT, hier insbesondere dem Internet als Werkzeug bei der Patientenbetreuung, fallen sehr differenziert aus. So wird dem Medium
einerseits ein hohes Misstrauen bzgl. des Datenschutzes entgegengebracht. Andererseits wird aber die Erfassung
und Verfügbarkeit von Behandlungsdaten in einer zentralen Gesundheitsdatenbank von mehr als 60% der Befragten als Chance für die Patientenbetreuung gesehen.
58
3
Zusammenfassung
In dieser Untersuchung wurden 351 Patienten und insgesamt 12 dokumentierende Anwender zu ihren Erfahrungen mit drei verschiedenen Dokumentations-Programmen (Ardis, Documed.rh, Rheumadok) befragt. Die Nutzerpräferenz und die Validität und Qualität der gewonnenen Patienten-Assessments sollten erhoben werden.
Dabei zeigte sich eine im Vergleich zur Papierversion verbesserte Datenqualität bei der (assistierten) Erhebung
der Patienten-Assessments am PC. Die Vergleichbarkeit der Ergebnisse (Validität) war unabhängig vom Alter
und von Parametern der IT-Erfahrung und PC-Aversion gut.
Weiterhin ließ sich eine Präferenz der Mehrheit der Patienten zu Gunsten des Computer-Einsatzes bei der Assessmentbefragung zeigen, wobei einzig Personen mit hoher Computer-Aversion die Papier-Methode bevorzugen. Allgemein haben die hier befragten Patienten Vorbehalte bzgl. des Datenschutzes im Internet, sind aber
mehrheitlich an Gesundheitsdienstleistungen im Internet interessiert.
Die Befragung der dokumentierenden Anwender zeigte eine leichte Überlegenheit der Programme Documed.rh
und Rheumadok bei der Befragung mittels ISONORM 9241/10-Fragebogen. Die Ursachen hierfür sind möglicherweise methodisch bedingt und führen aus unserer Sicht nicht zu einer tatsächlichen Überlegenheit im Alltag.
Vorrausgegangen ist der Untersuchung eine längere Planungsphase, bei der die Studieninhalte, -methode und ziele mehrfach angepasst werden mussten. Der zunächst geplante Einsatz aller drei Programme in der stationären
Routine in zwei verschiedenen Zentren konnte dabei aus verschiedenen Gründen nicht realisiert werden. Insbesondere sind die knappen Personal-Ressourcen im fachärztlichen Bereich und die Entscheidung des Kooperationspartners in Würzburg für den Routineeinsatz einer anderen Dokumentations-Software hierfür verantwortlich.
Die Anwendungserprobung im stationären Alltag konnte daher nicht vergleichend mit allen drei Programmen
bewerkstelligt werden. Der hier verfolgte Ansatz versucht daher, auf Basis von gut definierten Anforderungskriterien an den Softwareeinsatz die Benutzerfreundlichkeit der Programme zu vergleichen (Usability-Analyse).
Allgemein muss angemerkt werden, dass die Entscheidung für oder gegen eine Softwarelösung nicht ausschließlich über eine Usability-Analyse sinnvoll zu treffen ist. Wirtschaftliche und Kontext-bezogene Fragen spielen bei
einer solchen Entscheidung eine wichtige Rolle, die in unsere bisherige Untersuchung nicht miteingegangen
sind. Die Verbesserung des Krankheitsmonitorings durch sofortige und regelmäßige Auswertungen valider, durch
die Patienten weitgehend selbsständig erhobener Daten ist mit der hier vorgestellten Dokumentationssoftware
möglich.
59
Danksagung
Zunächst möchten wir uns bei der Arbeitsgemeinschaft der Regionalen Rheumazentren bedanken. Ohne die
Förderung des Projektes hätte diese Arbeit nicht zustande kommen können.
Bedanken möchten wir uns bei den Patienten, die mit großer Geduld die Assessment-Instrumente ausgefüllt
haben und ihre Daten für die Studie zur Verfügung stellten.
Direkt danach gilt unser Dank den ärztlichen Mitarbeitern der Inneren Medizin II der Schlosspark-Klinik, sowie
insbesondere dem Team in der Ambulanz und der Abteilung Information und Kommunikation. Ohne die Mithilfe
der Schwestern in der Ambulanz hätten die Patienten nicht für die Studienteilnahme gewonnen werden können.
Besonderer Dank gilt Herrn B. Fröhlich für die kontinuierliche Unterstützung in allen IT-relevanten Fragen und
Wünschen. Auch hier gilt, dass die Arbeit ohne diese Hilfe nicht möglich gewesen wäre.
Dank gilt den PJ-Studenten und allen anderen Mitarbeitern des „Anwender“-Teams, die teilweise unentgeltlich
viele Stunden Schulung und Dokumentation mitgemacht und uns ihre wertvolle Meinung zur Verfügung gestellt
haben.
Bedanken möchten wir uns bei den Mitarbeitern des Entwicklerteams der Softwaresysteme Ardis und Documed.rh für schnelle und unkomplizierte Hilfe bei allen Fragen zur Software. Besonderer Dank gilt dabei Frau I.
Bergmann aus dem Ardis-Team und Herrn T. Koch aus dem Team der Documed.rh-Entwickler. Weiterhin natürlich Frau PD Dr. med. Ina Kötter und Frau Dr. med. J. Richter, die von ärztlicher Seite für uns die Kontakte mit
den Teams erst möglich gemacht haben. Letztere ist auch im Zusammenhang mit der Entwicklung der hier eingesetzten Evaluationsfrageögen dankenswert zu erwähnen, die zum Teil auf ihren Vorlagen beruhen bzw. durch
ihre Vorschläge und Anregungen sinnvoll ergänzt werden konnten.
Weiterer Dank gilt Herrn Dr. J. Listing und Herrn Dr. Hopfenmüller für die statistische Beratung und die Hinweise bei der Planung der Studie.
60
Abbildungsverzeichnis
Abbildung 1: Altersstruktur der Studienteilnehmer mit Normalverteilungskurve ................................................ 17
Abbildung 2: Fragenblock zum Prüfprinzip "Fehlertoleranz" als Beispiel für die Items des ISONORMFragebogens .......................................................................................................................................................... 22
Abbildung 3: Ausschnitt aus dem Patientenfragebogen mit NRS zu Schmerz und Krankheitsaktivität............... 24
Abbildung 4: Auftragung der Mittelwerte insgesamt und in den Unterkategorien nach Programmen ................. 30
Abbildung 5: Scatter-Plot der Papier- v.s PC-FFbH-Werte nach Software ........................................................... 33
Abbildung 6: Kein Einfluss der Reihenfolge auf die Ergebnise der PC- und PP-FFbH´s .................................... 34
Abbildung 7: Kein nachweisbarer Einfluss des Geschlechts auf die Korrelation von PC- und PP-FFbH ............ 35
Abbildung 8: Kein Einfluss der EDV-Kenntnisse auf die Korrelation von PC- und PP-FFbH............................. 37
Abbildung
9:
Differenzen
zwischen
PC-
und
PP-FFbH´s
aufgetragen
nach
Punktzahl
im
IT-
Erfahrungsfragebogen, farbkodiert nach Programm ............................................................................................. 37
Abbildung 10: Einfluss der Computer-Angst auf die Antworten des FFbH in den verschiedenen
Erhebungsmethoden.............................................................................................................................................. 39
Abbildung 11: Differenz zwischen den verschieden erhobenen FFbH´s (PC-FFbH - PP-FFbH) aufgetragen gegen
die Punktzahl im CARS-Score.............................................................................................................................. 39
Abbildung 12: Antworten auf dichotome Fragen der Evaluationsfragebögen ...................................................... 41
Abbildung 13: Angabe benötigter Hilfestellung nach IT-Userlevel ...................................................................... 41
Abbildung 14: Mittelwerte der Antworten auf die Fragen 1-7 des PP-Evaluationsfragebogens, farbkodiert nach
Reihenfolge der Administration ............................................................................................................................ 42
Abbildung 15: Mittelwerte der Antworten auf die Fragen 1-7 des PC-Evaluationsfragebogens, farbkodiert nach
benutztem Programm ............................................................................................................................................ 43
Abbildung 16: Direktvergleich: PC (blaue Balken) vs. PP (rote Balken) vs. kein Unterschied (graue Balken) ... 44
Abbildung 17: Ergebnisse CARS-Fragebogens .................................................................................................... 46
Abbildung 18: Die Ergebnisse EDV-Fragebogens................................................................................................ 46
Abbildung 19: Altersabhängigkeit der EDV-Kenntnisse....................................................................................... 47
Abbildung 20: Altersabhängigkeit der Computeraversion .................................................................................... 47
Abbildung 21: Mittelwerte und Spanweiten der Punktzahl im CARS-Fragebogen nach Zuordnung der Patienten
zu einer IT-Erfahrungsstufe................................................................................................................................... 48
Abbildung 22: Häufigkeit der Hilfestellungen...................................................................................................... 49
61
Abbildung 23: Abhängigkeit der Angst vor Informationsmissbrauch im Internet vom CARS-Score................... 51
Abbildung 24: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, dass Ihre Behandlungsdaten
für Sie und Ihre behandelnde Ärzte zugriffgeschützt im Internet verfügbar sind ?“............................................. 52
Abbildung 25: Antworten der Patienten auf die Frage: „Haben Sie Interesse daran, Fragebögen zu Ihrer
Gesundheit im Internet zu bearbeiten und ausgewertet zu bekommen?“.............................................................. 52
62
Literaturverzeichnis
1.
Lee SJ, Kavanaugh A, Lenert L. Electronic and computer-generated patient questionnaires in standard
care. Best Pract Res Clin Rheumatol 2007;21(4):637-47.
2.
Batinic B. Online-Research - Methoden, Anwendungen und Ergebnisse. Göttingen: Hogrefe; 1999.
3.
Bludau H, Koop A, Behnisch R, W H. Mobile Computer in der Patientenversorgung. Biomedical Journal
2001;57:18-22.
4.
Theiler R, Bischoff-Ferrari HA, Good M, Bellamy N. Responsiveness of the electronic touch screen
WOMAC 3.1 OA Index in a short term clinical trial with rofecoxib. Osteoarthritis Cartilage 2004;12(11):912-6.
5.
Zink A, Huscher D, Listing J. [The National Database of the Regional Collaborative Rheumatic Centers
as a tool for clinical epidemiology and quality assessment in rheumatology]. Z Arztl Fortbild Qualitatssich
2003;97(6):399-405.
6.
Nielsen J. Designing Web Usability. München: Markt+Technik Verlag; 2001.
7.
Richter JG, Becker A, T. K, et al. Rheumatologische Patientinnen sind bereit für ein gutes InternetAngebot. Zeitschrift für Rheumatologie 2007;66(Suppl. I: Abstracts zum 35. Kongress der DGRh und 21. Jahrestagung der ARO).
8.
Richter JG, Becker A, Koch T, et al. Patients' self-assessments via Tablet PC in routine patient care:
comparison to standardized paper questionnaires. Ann Rheum Dis 2008;22:22.
9.
Prümper J. Der Benutzungsfragebogen ISONORM 9241/10): Ergebnisse zur Reliabilität und Validität. In:
u.a. RL, ed. Software-Ergonomie '97. Stuttgart; 1997.
10.
Prümper J, Anft M. Die Evaluation von Software auf Grundlage des Entwurfs zur internationalen Ergonomie-Norm ISO 9241 Teil 10 als Beitrag zur partizipativen Systemgestaltung - ein Fallbeispiel. In: Rödiger
KH, ed. Software-Ergonomie '93: Von der Benutzungsoberfläche zur Arbeitsgestaltung. Stuttgart: Teubner;
1993:145-56.
11.
Breivik EK, Bjornsson GA, Skovlund E. A comparison of pain rating scales by sampling from clinical
trial data. Clin J Pain 2000;16(1):22-8.
12.
Ferraz MB, Quaresma MR, Aquino LR, Atra E, Tugwell P, Goldsmith CH. Reliability of pain scales in
the assessment of literate and illiterate patients with rheumatoid arthritis. J Rheumatol 1990;17(8):1022-4.
13.
Lautenschlager J, Mau W, Kohlmann T, et al. [Comparative evaluation of a German version of the Health
Assessment Questionnaire and the Hannover Functional Capacity Questionnaire]. Z Rheumatol 1997;56(3):14455.
14.
Volkhardt U, Raspe HH. Funktionsdiagnostik bei cP - Der Funktionsfragebogen Hannover. Zeitschrift für
Rheumatologie 1984;43:237 ff.
15.
Allenby A, Matthews J, Beresford J, McLachlan SA. The application of computer touch-screen
technology in screening for psychosocial distress in an ambulatory oncology setting. Eur J Cancer Care (Engl)
2002;11(4):245-53.
16.
Buxton J, White M, Osoba D. Patients' experiences using a computerized program with a touch-sensitive
video monitor for the assessment of health-related quality of life. Qual Life Res 1998;7(6):513-9.
17.
Kleinman L, Leidy NK, Crawley J, Bonomi A, Schoenfeld P. A comparative trial of paper-and-pencil
versus computer administration of the Quality of Life in Reflux and Dyspepsia (QOLRAD) questionnaire. Med
Care 2001;39(2):181-9.
18.
Projekt-Website: Evaluation „Lernen im Netz“ - Lehr- und Lernerfahrung in internetgestützen Seminaren“ http://www.uni-hildesheim.de/~cschmidt/projektlin.htm. (Accessed at
19.
Skinner HA, Allen BA. Does the computer make a difference? Computerized versus face-to-face versus
self-report assessment of alcohol, drug, and tobacco use. J Consult Clin Psychol 1983;51(2):267-75.
20.
Schulenberg SE, Yutrzenka BA. The equivalence of computerized and paper-and-pencil psychological
instruments: implications for measures of negative affect. Behav Res Methods Instrum Comput 1999;31(2):31521.
21.
Heinssen R, Glass C, Knight L. Assessing computer anxiety: Development and validation of the
Computer Anxiety Rating Scale. Computers in Human Behavior
1987;3(1):49-59.
22.
Christensen R, Knezek G. Internal Consistency Reliabilities for 14 Computer Attitude Scales. Journal of
Technology and Teacher Education 2000;Vol. 8(4):327-36.
63
23.
Fletcher RH, Fletcher SW, Wagner EH. Klinische Epidemiologie: Grundlagen und Anwendungen.
Wiesbaden: Ullstein Medical; 1999.
24.
Schmitz N, Hartkamp N, Brinschwitz C, Michalek S, Tress W. Comparison of the standard and the
computerized versions of the Symptom Check List (SCL-90-R): a randomized trial. Acta Psychiatr Scand
2000;102(2):147-52.
25.
Drummond HE, Ghosh S, Ferguson A, Brackenridge D, Tiplady B. Electronic quality of life
questionnaires: a comparison of pen-based electronic questionnaires with conventional paper in a gastrointestinal
study. Qual Life Res 1995;4(1):21-6.
26.
Bent H, Ratzlaff CR, Goligher EC, Kopec JA, Gillies JH. Computer-administered bath ankylosing
spondylitis and Quebec Scale outcome questionnaires for low back pain: agreement with traditional paper
format. J Rheumatol 2005;32(4):669-72.
27.
Velikova G, Wright EP, Smith AB, et al. Automated collection of quality-of-life data: a comparison of
paper and computer touch-screen questionnaires. J Clin Oncol 1999;17(3):998-1007.
28.
Weinberger M, Oddone EZ, Samsa GP, Landsman PB. Are health-related quality-of-life measures
affected by the mode of administration? J Clin Epidemiol 1996;49(2):135-40.
29.
Cook IA, Balasubramani GK, Eng H, et al. Electronic source materials in clinical research: acceptability
and validity of symptom self-rating in major depressive disorder. J Psychiatr Res 2007;41(9):737-43.
30.
Greenwood MC, Hakim AJ, Carson E, Doyle DV. Touch-screen computer systems in the rheumatology
clinic offer a reliable and user-friendly means of collecting quality-of-life and outcome data from patients with
rheumatoid arthritis. Rheumatology (Oxford) 2006;45(1):66-71.
64
Anhang I
65
66
Anhang II
Eingabe (Arbeitshinweise für die Anwender) und Beispiele von Modellpatienten (hier nur Deckblatt der Arbeitsmappen abgebildet):
67
68
Anhang III
70
Anhang IV
71
Anhang V
Fragebogen zur Evaluation der „Papier und Stift“-Version
72
73
Fragebogen zur Evaluation der IT-Versionen
74
75
Anhang VI
Direktvergleich der beiden Methoden
76
Anhang VII
Computer-Anxiety Rating-Scale
77
78
Anhang VIII
Übersicht über die Eigenschaften des eingesetzten Laptops:
Computer:
Betriebssystem
OS Service Pack
Internet Explorer
Computername
Motherboard:
CPU Typ
Motherboard Name
Arbeitsspeicher
BIOS Typ
Anzeige:
Grafikkarte
Grafikkarte
Monitor
Multimedia:
Soundkarte
Datenträger:
Festplatte
Optisches Laufwerk
Partitionen:
C: (NTFS)
D: (NTFS)
Eingabegeräte:
Tastatur
Maus
Maus
Netzwerk:
Netzwerkkarte
Netzwerkkarte
Modem
Microsoft Windows XP Professional
Service Pack 2
7.0.5730.11
AMILO_PRO_V8010 (Dokumentation)
Mobile Intel Centrino, 1477 MHz (7.5 x 197)
FUJITSU SIEMENS AMILO PRO V8010
502 MB
Phoenix (06/16/05)
Mobile Intel(R) 915GM/GMS,910GML Express Chipset Family (96 MB)
Mobile Intel(R) 915GM/GMS,910GML Express Chipset Family (96 MB)
Plug und Play-Monitor [NoDB]
Intel 82801FB ICH6 - AC'97 Audio Controller
SAMSUNG HM060II
_NEC DVD+-RW ND-6650A
39958 MB (11791 MB frei)
17257 MB (3281 MB frei)
Standardtastatur (101/102 Tasten) oder Microsoft Natural Keyboard (PS/2)
HID-konforme Maus
Synaptics PS/2 Port TouchPad
Intel(R) PRO/Wireless 2200BG Network Connection
Realtek RTL8169/8110 Family Gigabit Ethernet NIC
AC97 SoftV92 Data Fax Modem with SmartCP
79
Anhang IX
Funktionsfragebogen Hannover
80
Anhang X
ISONORM 9241/10-Fragebogen
ISONORM
9241/10
Beurteilung von Software
auf Grundlage der
Internationalen Ergonomie-Norm
ISO 9241/10
Jochen Prümper & Michael Anft
Prof. Dr. Jochen Prümper
FHTW-Berlin
Fachgebiet Wirtschaftspsychologie
Treskowallee 8
10313 Berlin
©1993
81
Anweisung
(Bitte unbedingt lesen!)
Im folgenden geht es um die Beurteilung von Softwaresystemen auf Grundlage der Internationalen Norm ISO 9241/10.
Das Ziel dieser Beurteilung ist es, Schwachstellen bei Softwaresystemen aufzudecken
und konkrete Verbesserungsvorschläge zu entwickeln.
Um dies zu bewerkstelligen, ist Ihr Urteil als Kenner des Softwaresystems von entscheidender Bedeutung! Grundlage Ihrer Bewertung sind Ihre individuellen Erfahrungen mit dem Software-Programm, das Sie beurteilen möchten.
Dabei geht es nicht um eine Beurteilung Ihrer Person, sondern um I h r e
s ö n l i c h e B e w e r t u n g d e r S o f t w a r e mit der Sie arbeiten.
per-
Am besten bearbeiten Sie den Beurteilungsbogen, während Sie das zu bewertende
Softwaresystem vor sich am Bildschirm haben. Dadurch haben Sie die Möglichkeit, bei
der Beantwortung der einzelnen Fragen die ein oder andere Sache noch einmal zu überprüfen.
Bitte machen Sie im folgenden Kasten zunächst einige Angaben zu der Software, auf
die sich Ihre Beurteilung im folgenden beziehen wird.
82
Auf welches Software-Programm bezieht sich Ihre Beurteilung?
(Beurteilen Sie bitte lediglich e i n Software-Programm!)
Name der Software:
.........................................................................................
Versionsnummer:
.........................................................................................
Hersteller:
.........................................................................................
Teilanwendung / Modul: .........................................................................................
83
Noch ein Hinweis zur Beantwortung des Beurteilungsbogens:
Die einzelnen Normen werden über Beschreibungen konkretisiert. Diese Beschreibungen
weisen immer folgende Form auf.
Beispiel Nr.1:
Die Software ...
--- --
-
-/+
+
++ +++ Die Software ...
Beispiel 1
ist schlecht.
ist gut.
Im ersten Beispiel wird danach gefragt, wie gut, bzw. wie schlecht die Software ist.
Der Benutzer beurteilt in diesem Fall die Software zwar als gut, sieht jedoch noch Verbesserungsmöglichkeiten.
Beispiel Nr.2:
Die Software ...
--- --
-
-/+
+
Beispiel 2
ist langsam.
ist schnell.
Im zweiten Beispiel beurteilt der Benutzer die Software als ziemlich langsam.
Füllen Sie bitte den Beurteilungsbogen äußerst sorgfältig aus und lassen Sie keine der
Fragen aus!
Die Auswertung der Daten erfolgt anonym.
84
Unterstützt die Software die Erledigung Ihrer Arbeitsaufgaben, ohne Sie als Benutzer unnötig zu belasten?
Die Software ...
--- --
-
-/+
+
ist kompliziert zu bedienen.
ist unkompliziert zu bedienen.
bietet
nicht
alle
Funktionen, um die anfallenden Aufgaben effizient zu bewältigen.
bietet
alle
Funktionen, um die anfallenden Aufgaben effizient zu bewältigen.
bietet schlechte Möglichkeiten,
sich
häufig
wiederholende
Bearbeitungsvorgänge
zu
automatisieren.
bietet gute Möglichkeiten,
sich
häufig
wiederholende
Bearbeitungsvorgänge
zu
automatisieren.
erfordert
überflüssige
Eingaben.
erfordert
keine überflüssigen Eingaben.
ist
schlecht
auf die Anforderungen
der Arbeit zugeschnitten.
ist
gut
auf die Anforderungen
der Arbeit zugeschnitten.
85
Gibt Ihnen die Software genügend Erläuterungen und ist sie in ausreichendem
Maße verständlich?
Die Software ...
--- --
-
-/+
+
bietet
einen
schlechten
Überblick
über ihr Funktionsangebot.
bietet
einen
guten
Überblick
über ihr Funktionsangebot.
verwendet
schlecht
verständliche
Begriffe,
Bezeichnungen,
Abkürzungen
oder Symbole in Masken
und Menüs.
verwendet
gut
verständliche
Begriffe,
Bezeichnungen,
Abkürzungen
oder Symbole in Masken
und Menüs.
liefert
in
unzureichendem Maße
Informationen darüber,
welche Eingaben zulässig oder nötig sind.
liefert
in
zureichendem Maße Informationen
darüber,
welche Eingaben zulässig oder nötig sind.
bietet
auf Verlangen keine situationsspezifischen Erklärungen, die konkret weiterhelfen.
bietet
auf Verlangen situationsspezifische Erklärungen,
die konkret weiterhelfen.
bietet
von sich aus keine situationsspezifischen Erklärungen, die konkret weiterhelfen.
bietet
von sich aus situationsspezifische Erklärungen,
die konkret weiterhelfen.
86
St e u e r b a r k e i t
Können Sie als Benutzer die Art und Weise, wie Sie mit der Software arbeiten, beeinflussen?
Die Software ...
--- --
-
-/+
+
bietet keine Möglichkeit,
die Arbeit an jedem
Punkt zu unterbrechen
und dort später ohne Verluste wieder weiterzumachen.
bietet die Möglichkeit,
die Arbeit an jedem
Punkt zu unterbrechen
und dort später ohne Verluste wieder weiterzumachen.
erzwingt
eine unnötig starre Einhaltung von Bearbeitungsschritten.
erzwingt
keine unnötig starre Einhaltung von Bearbeitungsschritten.
ermöglicht
keinen leichten Wechsel
zwischen
einzelnen
Menüs oder Masken.
ermöglicht
einen leichten Wechsel
zwischen
einzelnen
Menüs oder Masken.
ist
so
gestaltet,
daß
der
Benutzer
nicht beeinflussen kann,
wie und welche Informationen am Bildschirm
dargeboten werden.
ist
so
gestaltet,
daß
der
Benutzer
beeinflussen
kann,
wie und welche Informationen am Bildschirm
dargeboten werden.
erzwingt
unnötige
Unterbrechungen der Arbeit.
erzwingt
keine
unnötigen
Unterbrechungen der Arbeit.
87
Kommt die Software durch eine einheitliche und verständliche Gestaltung Ihren Erwartungen und Gewohnheiten entgegen?
Die Software ...
--- --
-
-/+
+
erschwert
die Orientierung, durch
eine uneinheitliche Gestaltung.
erleichtert
die Orientierung, durch
eine einheitliche Gestaltung.
läßt
einen
im
Unklaren
darüber, ob eine Eingabe
erfolgreich war oder
nicht.
läßt
einen
nicht im Unklaren darüber, ob eine Eingabe
erfolgreich war oder
nicht.
informiert in unzureichendem Maße über das,
was sie gerade macht.
informiert in ausreichendem Maße über das, was
sie gerade macht.
reagiert mit schwer vorhersehbaren
Bearbeitungszeiten.
reagiert mit gut vorhersehbaren Bearbeitungszeiten.
läßt
sich
nicht
durchgehend
nach einem einheitlichen
Prinzip bedienen.
läßt
sich
durchgehend
nach einem einheitlichen
Prinzip bedienen.
88
Fehlertoleranz
Bietet Ihnen die Software die Möglichkeit, trotz fehlerhafter Eingaben das beabsichtigte Arbeitsergebnis ohne oder mit geringem Korrekturaufwand zu erreichen?
Die Software ...
--- --
-
-/+
+
ist
so
gestaltet,
daß
kleine
Fehler
schwerwiegende
Folgen haben können.
ist
so
gestaltet,
daß
kleine
Fehler
keine schwerwiegenden
Folgen haben können.
informiert
zu
spät
über fehlerhafte Eingaben.
informiert
sofort
über fehlerhafte Eingaben.
liefert schlecht verständliche Fehlermeldungen.
liefert
gut
verständliche Fehlermeldungen.
erfordert bei Fehlern
im großen und ganzen
einen hohen Korrekturaufwand.
erfordert bei Fehlern
im großen und ganzen
einen geringen Korrekturaufwand.
gibt keine konkreten
Hinweise zur Fehlerbehebung.
gibt
konkrete
Hinweise zur Fehlerbehebung.
89
Können Sie als Benutzer die Software ohne großen Aufwand auf Ihre individuellen
Bedürfnisse und Anforderungen anpassen?
Die Software ...
--- --
-
-/+
+
läßt sich von dem Benutzer
schwer
erweitern, wenn für ihn
neue Aufgaben entstehen.
leicht
erweitern, wenn für ihn
neue Aufgaben entstehen.
schlecht
an seine persönliche, individuelle Art der Arbeitserledigung anpassen.
gut
an seine persönliche, individuelle Art der Arbeitserledigung anpassen.
eignet sich für Anfänger
und
Experten
nicht
gleichermaßen,
weil der Benutzer sie nur
schwer
an seinen Kenntnisstand
anpassen kann.
eignet sich für Anfänger
und Experten gleichermaßen,
weil der Benutzer sie
leicht
an seinen Kenntnisstand
anpassen kann.
läßt sich - im Rahmen
ihres Leistungsumfangs von
dem
Benutzer
schlecht
für unterschiedliche Aufgaben passend einrichten.
läßt sich - im Rahmen
ihres Leistungsumfangs von
dem
Benutzer
gut
für unterschiedliche Aufgaben passend einrichten.
ist
so
gestaltet,
daß der Benutzer die
Bildschirmdarstellung
schlecht
an seine individuellen
Bedürfnisse
anpassen
kann.
ist
so
gestaltet,
daß der Benutzer die
Bildschirmdarstellung
gut
an seine individuellen
Bedürfnisse
anpassen
kann.
90
Lernförderlichkeit
Ist die Software so gestaltet, daß Sie sich ohne großen Aufwand in sie einarbeiten
konnten und bietet sie auch dann Unterstützung, wenn Sie neue Funktionen lernen
möchten?
Die Software ...
erfordert
viel
zum Erlernen.
--- --
Zeit
-
-/+
+
erfordert wenig
zum Erlernen.
Zeit
ermutigt nicht dazu,
auch neue Funktionen
auszuprobieren.
ermutigt
dazu,
auch neue Funktionen
auszuprobieren.
erfordert,
daß man sich viele Details merken muß.
erfordert
nicht,
daß man sich viele Details merken muß.
ist so gestaltet, daß sich
einmal
Gelerntes
schlecht einprägt.
ist so gestaltet, daß sich
einmal
Gelerntes
gut einprägt.
ist
schlecht
ohne fremde Hilfe oder
Handbuch erlernbar.
ist
gut
ohne fremde Hilfe oder
Handbuch erlernbar.
91
Zum Schluß
Zum Schluß bitten wir Sie, noch folgende Fragen zu beantworten:
Seit wievielen Monaten arbeiten Sie schon mit der
von Ihnen beurteilten Software?
..................
Monate
Seit wievielen Monaten arbeiten Sie überhaupt
schon mit Computern?
..................
Monate
Wieviele Stunden arbeiten Sie pro Woche durchschnittlich mit der von Ihnen beurteilten Software?
..................
Stunden
Wieviele Stunden arbeiten Sie pro Woche durchschnittlich mit Computern?
..................
Stunden
Wie gut beherrschen Sie die beurteilte Software?
Mit wievielen Programmen arbeiten Sie derzeit?
Davon:
Was ist Ihr Beruf?
Wie alt sind Sie?
Ihr Geschlecht?
MBS
MUC
SBS
SUC
sehr o o o o o o o
schlecht
sehr
gut
EXP
NUP
..................
Programme
..................
PCProgramme
..................
Großrechnerprogramme
...............................................
NPC
NMF
JOB
AGE
..................
Jahre
..................
m/w
SEX
92

Dokumentvorlage für Dissertationen u.ä.

Transcription

Similar documents

Nils Körber und Joachim Elgas GbR

Christian Wilhelm Jamm und die Sklaverei

- TomTom PR Agentur

Komfort-Vermittlungsplatz AC

vollständige PDF Ausgabe - Deutsche Gesellschaft für

Die Implantation der Antibabypille in den 60er und frühen 70er Jahren

Windows-Anwendungen für Linux

Or thopädische Aspekte im Sport

Einstieg Wie komme ich zu meinem eigenen Internet