Best Practices zur Standardisierung von Testmetriken als Teilaspekt

Best Practices zur Standardisierung von Testmetriken als Teilaspekt zur Erreichung
von Automotive SPICE® Reifegradstufe 3
Max Hefke, Horst Pohlmann
1
Lemförder Electronic GmbH
Von dem Bussche Münch Str. 12, 32339 Espelkamp
[email protected], [email protected]
Motivation
und
Abstract.
Die
rasante
Entwicklung im Automobilbereich und die
zunehmende Vernetzung neuer (Safety und
Security) Sicherheitssysteme innerhalb und
außerhalb des Fahrzeuges führen unweigerlich zu
einer steigenden Testkomplexität. Demzufolge
werden bereits heute aus den tausenden von
Anforderungen/Testfällen zukünftig zehntausende
von
Anforderungen
bzw.
Testfällen
im
anforderungsbasierten Testen. Der Einsatz von
standardisierten und automatisierten Testmetriken
stellt einen Ansatz dar, diese Komplexität zu
beherrschen.
Metriken, welche die Eigenschaft besitzen ein
Messobjekt in der Softwaretechnik zu vermessen
und in Zahlen auszudrücken, wie z.B. die Anzahl
der atomaren Anforderungen eines Subsystems,
sind von der Akquisition bis zur Freigabe ein
nützliches Werkzeug. Sie dienen sowohl zur
Überwachung und Steuerung der Entwicklungsund Testprozesse als auch für die Herleitung der
Kriterien für die Freigabe in den Integrationsstufen
bis zur Serie.
Zudem kann die formale Vollständigkeit bzgl.
der bidirektionalen Traceability nach ASPICE mit
einfachen Mitteln nachgewiesen werden [1]. Die
Traceability erstreckt sich z.B. von den Software
Anforderungen über die spezifizierten Software
Testfälle und nach ASPICE 3.0 zusätzlich bis hin
zu den Software Testergebnissen.
1 Einleitung
Dieser
Beitrag
dient
Testmanagern
und
Prozessverantwortlichen, als Hilfestellung bei der
Prozessoptimierung durch Standardisierung der
Testmetriken des Softwaretestprozesses im
Hinblick auf Automotive SPICE® Level 3. Durch
die Standardisierung von Testmetriken wird am
Beispiel
des
Softwaretestprozesses
ein
Grundstein gelegt, um Reifegradstufe 3 nach
Automotive SPICE® zu erreichen.
Auf Basis einer fundierten Ausbildung (z.B.
ISTQB® Advanced Level Testmanager) und einer
systematischen Analyse der Anforderungen der
Automotive Hersteller (OEM´s), Lieferanten,
Wettbewerbern und Veröffentlichungen wurden
die Best Practice Testmetriken in einem
Unternehmen
standardisiert.
Dabei
waren
zusätzlich
die
projektübergreifenden
1
Anforderungen der Reifegradstufe 3 hinsichtlich
der Effektivität mit zu berücksichtigen.
Ziel des Beitrages ist es eine Best Practice
Vorgehensweise darzustellen, die exemplarisch
für die Softwareteststufe definiert wurde und
analog auf andere Teststufen übertragen wurde.
2 Grundlagen
Abgeleitete (äußere) Metriken (z.B. AnforderungsTestabdeckung), setzen sich aus verschiedenen
Basis (inneren) Metriken zusammen; d.h. z.B.
werden
für
die
Ermittlung
der
Metrik
Anforderungs-Testabdeckung die Anzahl der
durch mindestens einen Testfall getesteten
Anforderungen und die Gesamtzahl der
Anforderungen benötigt.
Der Zusammenhang der inneren und äußeren
Metriken wird mittels des sog. „Eisbergmodells“
(siehe Abbildung 1) veranschaulicht.
Äußere Metriken
Innere Metriken
Abbildung 1: Eisbergmodell [2]
2.1 Automotive SPICE®
Durch den Zusammenschluss von führenden
Automobilherstellern, der SIG (Automotive Special
Interest Group) und dem „Procurement Forum“ ist
auf der Basis der ISO 15504, der Automotive
SPICE® Standard entstanden [1]. Der Standard
ist gegliedert in das PAM (Process Assessment
Model) und das PRM (Process Reference Model).
2.2 ISO 29119 - Softwaretestnorm
Die ISO 29119 besteht aus vier Teilen: Konzepte
und Definitionen, Testprozess, Testdokumentation
und Testtechniken [3]. In Teil 1 – Konzepte und
Definitionen ist bspw. die Metrik „Test Coverage“
definiert, welche in Kap. 3 des vorliegenden
Beitrages näher beschrieben wird.
Lemförder Elektronik GmbH mit Sitz in Ostwestfalen ist eine 100% Tochter der ZF Friedrichshafen AG
3 Best Practices zur Standardisierung
Das Ziel in diesem Abschnitt ist es Testmetriken
zu
ermitteln,
analysieren,
bewerten
und
abschließend zu standardisieren. In Abbildung 2
ist der Weg von Testmetriken zu standardisierten
und automatisierten Testmetriken dargestellt.
Einheitliche
Definitionen
festlegen
Existente Ansätze analysieren (unternehmensinterne Dokumentation, aktuelle
Projekte, Literatur, …)
OEM Anforderungen analysieren
Kategorisieren („optional“/„verpflichtend“)
Standardisierte Testmetriken
ASPICE
Prozessanwendung 3.2
Automatisieren
ASPICE Prozessdefinition 3.1
Testmetriken
ASPICE
Anforderungen
analysieren
Standardisierte und automatisierte Testmetriken
Tailoring auf Basis der Kategorisierung
Anwendung
Analysieren von zusätzlichen projektspezifischen /
standortspezifischen Anforderungen
Abbildung 2: Best
Vorgehensweise
Practices
–
„getailorte“
Projektmetriken
Übersicht
der
Im ersten Schritt wurden existente Ansätze wie
unternehmensinterne Dokumentationen, aktuell
laufende
Entwicklungsprojekte
oder
Veröffentlichungen zum Thema analysiert.
Auf dem Weg zu den standardisierten
Testmetriken ist es darüber hinaus relevant, die
Automotive SPICE und OEM Anforderungen zu
analysieren. Standardisierte Testmetriken müssen
einheitlich definiert werden, um ein ebenfalls
gleiches Verständnis im Unternehmen zu
schaffen.
Die Vereinheitlichung der Definition der
Testmetriken erfolgt auf der Basis der ISO 29119.
Dazu wurde die Metrik „Test Coverage: degree,
expressed as a percentage, to which specified
test coverage items have been exercised by a test
case or test cases“ [3] Wort für Wort auseinander
gezogen, um dann eine einheitliche Definition
festzulegen. Abbildung 3 veranschaulicht die
Herangehensweise.
Herleitung/Lösungsansatz
Im letzten Schritt (nach Abbildung 2) werden die
standardisierten Testmetriken kategorisiert; d.h.
hinsichtlich für eine Anwendung in jedem Projekt
und einer optionalen Verwendung definiert.
Sobald die Testmetriken automatisiert werden
können, steht der Anwendung im Projekt nichts
mehr im Weg.
Anwendungszenario:
Durch
die
definierten
standardisierten
Testmetriken
können
folgende
Fragen
beantwortet werden:
- Wie viele der akzeptierten Anforderungen sind
überhaupt testbar?
- Wie viele der akzeptierten und testbaren
Anforderungen besitzen bereits mindestens
einen spezifizierten Testfall?
- Wie viele spezifizierte Testfälle wurden (im
aktuellen Testzyklus bereits (vollständig)
durchgeführt?
- Sind alle spezifizierten und verlinkten Testfälle
zur
jeweiligen
Anforderung
vollständig
bestanden?
4 Zusammenfassung
Dieser hier vorgestellte Lösungsansatz dient zum
Nachweis der Traceability und (formalen)
Konsistenz nach ASPICE 3.0. Anhand der
automatisierten
und
standardisierten
Testmetriken,
wird
die
zukünftig
weiter
zunehmende Testkomplexität beherrschbar.
Keywords:
Testmetriken,
Testkomplexität,
Automotive
SPICE,
anforderungsbasiertes
Testen, ISO 29119
5 Literatur- und Quellverzeichnis
[1]
[2]
 Anlehnung an den neuen Standard ISO 29119-1, Beispiel „Test coverage“ [3]:
– degree, expressed as a percentage, to which specified test coverage items have been exercised by
a test case or test cases
Prozentuale
Darstellung
einem oder
mehreren Testfällen
SWAnforderungen
„Durchgeführte“
[3]
SW-Anforderungstestdurchführungsstatus* = Anzahl akzeptierter und testbarer SWAnforderungen mit mindestens einem eingehen Link von einem ausgeführten Testfall dargestellt
zu Gesamtzahl akzeptierter und testbarer SW-Anforderungen
* Im Rahmen der Diskussionen sind einige Testmetrik Bezeichnungen verändert worden.
Abbildung 3: Einheitliche Definitionen festlegen
®
Automotive
SPICE
Process
Assessment
Model;
VDA
QMC
Working Group 13 / Automotive SIG;
Version 3.0; 16.07.2015.
Djibang; Das Eisberg - Prinzip;
September
2015;
URL:
http://www.djibang.org/wp/wpcontent/uploads/eisberg.jpg;
Datum
des Abrufs: 03.09.2015. (hier lediglich
das Bild entnommen).
ISO/IEC/IEEE 29119; Software and
System engineering – Software
testing; 2013.