Was sind Produktdaten?

„Die Pflege von Stammdaten ist
die Grundlage für wichtige
<Insert Picture Here>
Geschäftsprozesse und –
entscheidungen.“
Product Data Quality
Verbesserung der Artikel-Stammdatenqualität,
automatisch und in Echtzeit
Ralf Kittel, Oracle
Safe Harbor Statement
The following is intended to outline our general
product direction. It is intended for information
purposes only, and may not be incorporated into
any contract. It is not a commitment to deliver any
material, code, or functionality, and should not be
relied upon in making purchasing decisions. The
development, release, and timing of any features
or functionality described for Oracle’s products
remains at the sole discretion of Oracle.
Agenda
1.
2.
3.
4.
5.
6.
7.
Datenqualität – Status Quo
Produkt-Stammdaten
Möglichkeiten der Qualitätssteigerung
Nutzen von semantischen Technologien
Integration in bestehende IT-Systeme
Beispiele aus Retail, High-Tech, Life Science, Public
Demo
Datenqualität
Jede Firma braucht saubere Daten.
Viele glauben, sie trifft es nicht.
Doch es kann schon
zu spät sein.
Quelle: Autobild.de
Herausforderungen des Information Managements
Kontinuierliches Steigern der Datenqualität
Warum kann ich
nicht die
Berichtsergebnisse
sehen, die ich
brauche?
Warum greifen
meine
Anwendungen auf
veraltete Daten
zurück?
Warum habe ich
so viele doppelte
Daten? Die
meinsten sind
inkorrekt.
Wie kommen schlechte Stammdaten in eine ITApplikation?
„SAP-Anwender vertrauen der Qualität der eigenen
Daten nicht!“
Quelle: http://www.e3cms.de/index.php?id=3223
Neue Barc-Studie (Februar 2010) untersucht
Wahrnehmung von Datenqualität bei Anwendern von
SAP-Systemen.
Bild: Die wichtigsten Daten im Unternehmen
Quelle: BARC Institut, Würzburg, März 2011
Wie kritisch ist die Qualität Ihrer Unternehmensdaten
für unternehmerische Entscheidungen?
Quelle: BARC Institut, Würzburg, März 2011
Top 5 Probleme beim Einsatz von BI-Software
Quelle: The BI Survey 9 und BARC Institut, Würzburg, März 2011
Was sind Produktdaten?
Bei Datenqualität denken viele zunächst
nur an Kundenstammdaten
Kunde
(PLZ, Ort, etc.)
Single
format/
country
Produkt (Benennung, Klassifizierung, Artikelnummer, Lieferant, Preis,
Verfügbarkeit, Lagerort, Stückliste, SKU, Betriebsmittel, Verpackung, etc.)
Over 30,000 categories …
Kundenstammdaten
Artikelstammdaten
•
•
•
•
• Haben keine fixe Syntax – wenige Standards
• Unendliche Variabilität - Format, Inhalt, Syntax
• Haben unterschiedliche Regelungen für die einzelnen
Artikelkategorien
• werden oft von mehreren Anwendungen bzw. Abteilungen
verwendet/erzeugt
• sind bei analytischen Auswertungen oft die Kriterien, nach denen
ausgewertet wird.
• werden meistens langfristig gehalten.
• Komplexe Lieferkette (Hersteller, Distributor, Zulieferer, …)
Relativ feste Syntax
Schreibfehler
Namen Äquivalenten
Abgleich basierend auf
Wahrscheinlichkeiten
Artikelstammdaten
Unstrukturiert & nicht standardisiert
Was ist das?
10hp motor 115V Yoke mount
MOT-10,115V, 48YZ,YOKE
mtr, ac(115) 10 horsepower 115volts
This 10hp yoke mounted motor is rated
for 115V with a 5 year warranty
10 Caballos, Motor, 115 Voltios
TEAO HP = 10.0 1725RPM 115V 48YZ YOKE MTR
Motor, TEAO, 1725 RPM, 48YZ, 15 Voltios,
Montaje de Yugo, hp = 10
Item
Classification
Power
Voltage
Mounting
Motor
26101600
10 horsepower
115
Yoke
Artikelstammdaten
Wie sie in IT-Systemen zu finden sind
Inkonsistente
Namen
Viele Informationen, aber
meistens nicht
standardisiert und
unberechenbar
ABC123
ManufaDescription
cturer
AA Inc.
10hp motor 115V Yoke mount
abc-123
A.A.
Product ID
mtr, ac(115) 10 horsepower 115volts
Attribute nicht
standardisiert,
fehlend oder falsch
Product Type
Power
Voltage
Mount
Motor, AC/DC
10hp
115V
Yoke
AC/DC Motor
10
115 AC.
Mot-AC
10 H-pow
115
ABC/123/Q AA/Craft
10 Caballos, Motor, 115 Voltios
QA-ST5
Craft
TEAO HP = 10.0 1725RPM 115V 48YZ YOKE MTR
Z99
Z99
MOT-10,115V,48YZ,YOKE
Z99
Motor powered pulley, 3/4"
Motor
Inkonsisten
tes Format
Falsch
klassifiziert
26101604
Inkonsistente und
fehlerhafte
Klassifizierung
Vielfache
Dubletten
(oft schwer
zu
entdecken)
Verwendung von Produktdaten im
Order to Cash Prozess
Vertrieb, Entwicklung, Beschaffung, Planung, Herstellung …
• Lieferantendaten sind
oft nicht standardisiert.
• Produktdaten werden
oft in verschiedenen
Systemen geführt.
• Ungenaue Daten führen
zu Fehlern in der
Planung und in der
Fertigung.
• Bestellung auf Grund
von Fehlern im
Produktkatalog.
met
European Ops
Asia Operations Service Providers Supply Network
Folgen schlechter Produktdaten
Allgemein
Folgen schlechter Produktdaten
Kaizen: 7 Verschwendungsarten
Überproduktion
mehr als notwendig fertigen
1
Bestände
End-, Halbfertigprodukte,
Zulieferteile u. Materialien die
als Bestände lagern sind nicht
wertschöpfend
Warten
7
2
6
Herstellung
untätige Hände eines
Mitarbeiters. Prozesstaktung
nicht optimiert
3
7 Mudas
Unzureichende Technologie
oder Konstruktion
5
Nacharbeit/Fehler
Fehlerhafte Produkte stören
den Produktionsfluss und
erfordern teure
Nachbesserung
4
Transport
Bewegung
Bewegung von Materialien
oder Produkten ist nicht
wertschöpfend
Jede Körperbewegung, die
nicht zum Wertzuwachs
beiträgt ist unproduktiv
Muda = japanisch für Verschwendung
Häufige Lösungsstrategien …
reichen bei Artikelstammdaten nicht aus
Manual
– Viel zu teuer
– Viel zu langsam
– Nicht wirklich
skalierbar
Individualprogrammierung
– Zeitaufwändig
– Zu viele
Ausnahmen
– Unvollständige /
zweideutige
Antworten
;3.5 MM 20 MM
* ^ | G = "MM" | ^ | G = "MM" | [{FM}="CATHETER" ] |
[{T1}="BALLOON"]| [{BR}!="OPTIPLAST"]
COPY [1] temp1
COPY_A [2] {Q1}
COPY "X" {C1}
COPY [3] temp2
COPY_A [4] {Q2}
RETYPE [1] 0
RETYPE [2] 0
RETYPE [3] 0
RETYPE [4] 0
CALL Ballon_Measurements
“Massenexport nach
Excel”
– Zu teuer
– Zu langasam
– Keine kontinuierliche
Kontrolle
SAP Excel-Export/Import für Stammdatenpflege
Manuelle StammdatenPflege mit Excel-Unterstützung
Quelle: http://www.e-3.de/
Der Lösungsansatz:
Automatisches Extrahieren, Aufbereiten, Validieren und
Speichern von Stammdaten
Speichern
Extrahieren
Aufbereiten
Validieren / Testen
Die Lösung: Oracle Product Data Quality Lifecycle
Iterativer Prozess zur langfristigen Verbesserung der
Datenqualität
Überwachen
Analysieren
Anreichern
Bereinigen
Die Lösung: DataLens™
Automatisches Aufbereiten & Validieren
•
•
•
•
•
DateLens™ entspricht einer optischen Linse
Zeigt die Daten so an, wie gewünscht (eingestellt)
keine „dauerhafte“ Datenhaltung
Automatisch und in Echtzeit
Aufbereiten & Validieren
Enthält Kontextwissen über z.B.:
• verschiedenen Produktkategorien
• Vokabular
• Abkürzungen
• Regeln
• Attribute
• gültige Werte
• Übersetzungen
• Standards
• Klassifizierungen
• Informationserkennung im Zusammenhang (Kontext) und mit der richtigen
Bedeutung(Semantik)
• selbstlernend
• in jeden beliebigen Prozess integrierbar (z.B. Stammdatenanlage)
Semantik macht den Unterschied.
Wikipedia: Semantik nennt man die Wissenschaft von
der Bedeutung der Zeichen und Wörter.
• Die Bank, 1000$
– Geldinstitut oder Sitzgelegenheit?
• 3M, Medizin
– 3 Meter oder Unternehmen?
• Schuh, 4 polig
– Laufschuh oder Klemmenschuh?
Was leistet die Semantische Erkennung von
Product Data Quality?
• Standardisieren von Attributen - jeder Standard
• Standardisieren von Beschreibungen - beliebige Länge oder Norm
• Übersetzen - von jeder Sprache in jede Sprache
• Klassifizieren mit jedem beliebigen Schema - UNSPSC, eClass, Zoll, etc.
• Validieren – Attributwerte
• Anreichern - aus externen Quellen
• Abgleichen - ID Prüfung, funktionelle Übereinstimmung, usw.
• Merge – Regelbasiertes Zusammenführen
• Gap-Analyse – Erkennen von fehlenden Informationen und ggf. anreichern
• Verbesserungsvorschläge
Beispiel Product Data Quality Console
Real-time interactive User Interface spart Zeit beim Testen
Oracle Product Data Quality
Erkennen von Standards & Konvertierung/Umrechnung
Standardisieren von
Varianten in ein Format
• Standardformat kann
jederzeit geändert werden
• Standardformat kann
allgemeingültig sein oder z.B.
für einen speziellen ArtikelTyp
Data Standardization
Automatisches Data-Cleansing
Keine Standarddaten (vorher)
Standardisierte Data (nachher)
Description
English
RESPCF AX300OHM1/4W5%
Resistor 300 Ohm 5% 0.25 Watt Axial Carbon Film
Spanish
Resistor 300 Ohmio 5% 1/4 Vatio Película Axial de Carbón
Russian
Резистор 300 Ом 5% 1/4 Ватт Аксиальная Карбонная Пленка
Resistance
300 Ohm
Data
Standardization
Engine
220 ohm CF AX 0.5W 10 % ress
Catalog Category
4 Resistor
2 Übersetzen von jeder Sprache in jede Sprache
4 Klassifizierung
5 Industrie-und Unternehmensstandards anwenden
Power
0.25 Watt
Tolerance
5%
3
UNSPSC
32121609
Procurement Class
R-I
5
Resistor 220 Ohm 10% 0.5 Watt Axial Carbon Film
Spanish
Resistor 220 Ohmio 10% 0.5 Vatio Película Axial de Carbón
Russian
Резистор 220 Ом 10% 0.5 Ватт Аксиальная Карбонная Пленка
Resistance
220 Ohm
3 Attribute extrahieren und standardisieren
2
Description
English
1 Standardisierung der Item Beschreibung
1
Catalog Category
Resistor
Power
0.5 Watt
UNSPSC
32121609
Tolerance
10%
Procurement Class
R-X
Die Lösung: Oracle Product Data Quality (PDQ)
Extrahieren und Publizieren von Stammdaten
Extrahieren
CRM
Speichern/Publizieren
Users
EBS
CRM
SAP
EBS
GDSN
SAP
Other
Custom Apps
BI
Extrahieren: Oracle PDQ kann Daten aus vielen verschiedenen Datenquellen
extrahieren, z.B. Texte, Microsoft Excel-Tabellen, Web Services, XML und
Datenbanken. Dabei kann PDQ sogar auf implementierte DBFunktionen/Prozeduren zugreifen.
Publizieren: Oracle PDQ kann die bearbeiteten Daten in verschiedenen
Zielsysteme speichern - auch gleichzeitig in mehrere Zielsysteme z.B. im XML-,
Excel- oder Text-Format. Die Daten können auch automatisch an einen FTPServer versendet werden.
Prozessintegration Oracle PDQ
Integration in ein MDM/PIM-System und Prozess
EBS
Product
Data Hub
Record
Share
CRM
Consolidate
Govern
Cleanse
Users
CRM
SAP
EBS
GDSN
SAP
Other
Custom Apps
BI
Integration in jedes beliebige MDM/PIM-System.
Standardintegrationen verfügbar, oder via Web-Services u/o
SOA-Architektur.
Product Data Quality – Anwendungsbeispiel
Prozess-/
Situationsabhängiger
Workflow
Typische Einsatzgebiete
• Migrations-/Systemharmonisierungsprojekte
• Datenintegrationsprojekte
„Wie sehen die Daten aus, die zusammengeführt werden sollen“
• Business Intelligence („Garbage in garbage out“)
• Kostenreduktion im Beschaffungswesen, z.B.
Lieferantenreduktion – Wer liefert was? Ausgabenanalysen, etc.
• Reduktion Time-to-Market, z.B. Teilereduktion
• User Experience im Webshop steigern
• Stammdatenübersetzung/-normierung
• Funktionserhöhung innerhalb IT-Anwendungen (z.B. ERP, PLM, SCM)
• Governance und Compliance
• Integration in MDM/PIM
• Risikomanagement
• Fehlermanagement
• Vollständigkeitsprüfung
• Data Quality Firewall /-Lifecycle
Product Data Quality – Auszug aus unsere Kundenliste
Manufacturing & Distribution
Healthcare
MC Healthcare/
Nihon Hospital
Retail
BEISPIELE
Beispiel: Elektronische Komponenten - Widerstand
Analysieren, Extrahieren, Transformieren, Standardisieren pro Produktkategorie
Extraktion und
Standardisierung
der Attribute
DataLens
Sehr variable Syntax
(Muster)
Semantische Erkennung
identifiziert die
Artikelkategorie und die
Attribute mit sehr variablen
Daten.
Der Artikel kann dann wie
gewünscht gereinigt
(standardisierten) werden.
Klassifikation gemäß
verfügbaren Schemas
und Industrie- oder
eigene Standards
Normierte
Beschreibungen
passen zu allen
Standards und
Formate
Übersetzung in
jede beliebige
Sprache (inkl.
double-byte
Sprache)
Beispiel: Büroordner
Analysieren, Extrahieren, Transformieren, Standardisieren pro Produktkategorie
DataLens™
Beispiel: Medizinische Handschuhe (Life Science)
Description
GLOVE PROTEGRITY SMTH GRIP MICRO PF LATEX SURG 6.0" LRG 100 / BX 5LBS
GLOVE LARGE 100EA PROTEGRITY PF LATEX SURGICAL 6.0" TEXTURE GRIP
GLVS LINER PWD 6.0" FR LTX SUG TEXT GRP ULTRATUFF CUT RESIST STRL LG
PROTE GLVS SURG LARGE PF SMTH GRIP CASE OF 1000 LTX BLU 9.0IN.
GLVE PROTGRITY TEXT SMT PF LATX SURG 7.5IN MD 250 CTN 10LBS
GLVE PROTEGRITY TEXT 100 BOX PF LATEX SURGICAL 5.5IN 20-LBS. MEDIUM
LF GLOVES TEXT ESTM SMT PF SYNTHETIC XLG SURG 7.5IN. 500 / CASE 20 LBS.
GLOV EXAM LTX 7.5IN FREE SYN ( VINYL ) VHA+ PF N/S SM 17.5 LBS.
XLRG GLOVES SMTH STERILE PWD LTX PROCEDURE 8.0IN
GLOVE EXAM TEXT 6.5" LTX FR N/S PWD VINYL INSTAGARD SM TEXT GRIP
GLOVE 8IN. SMTH MD NOVA PLUS PF NITRILE EXAM TEXTURE
CR100BT BROWN 8" SMOOTH GRIP LATEX MED CLEANRM GLOVE 5.5 IN 10 LBS TUFFY
ESTEEM 6.5" GLOVE EXAM BOX OF 100 LATEX VHA+ TEXT PF N/S LG 50LBS
SMTH GRIP ESTM 7.5" GLOVE LF EXAM SYN VHA+ PF N/S MED 12 DOZ 100OZ.
GLV PF ESTEEM NEU-THERA 8.5IN. NITRILE EX SZ XL 5PDS Item Type
Size
Materials
GLV EXAM PF SYN ESTEEM W/NEU-THERA 7.0" SZ MD 200/BOX
20-LBS Large
Surgical
Latex
MED GLVE EXAM N/S PF 500 COUNT LATEX POSITIVE TOUCH
ESTEEM 7.5"
Surgical
Large
Latex
GLV EXAM ESTEEM LATEX VHA+ TXT PWDRLESS N/S 5.5"Surgical
XS 100 PER CTN
Large
Latex
TUFFY CR100BT BROWN LATEX CLEANROOM GLOVE 8.5 Surgical
" SMOOTH GRPLarge
10LBS. XLRG Latex
XS GLV CLN PROCES TXT GRP ULTRACLEAN 100 PER BXSurgical
STER SYN DURAPRENE
12LBS.
Medium CP 7.5IN
Latex
Sehr variable
Syntax (Muster)
Surgical
Surgical
Exam
Procedure
Exam
Exam
Cleanroom
Exam
Exam
Exam
Exam
Exam
Exam
Cleanroom
Cleanroom
Medium
Extra Large
Small
Extra Large
Small
Medium
Medium
Large
Medium
Extra Large
Medium
Medium
Extra Small
Extra Large
Extra Small
Latex
Synthetic
Latex
Latex
VINYL
Nitrile
Latex
Latex
Synthetic
Nitrile
Synthetic
Latex
Latex
Latex
Synthetic
Extract &
Standardize
Grip
Smooth
Textured
Textured
Smooth
Smooth
Textured
Textured
Smooth
Textured
Smooth
Smooth
Textured
Smooth
Positve
Textured
Smooth
Textured
Brand
Protegrity
Protegrity
Ultratuff
Protegrity
Protegrity
Protegrity
Esteem
Instagard
Nova Plus
Tuffy
Esteem
Esteem
Esteem
Esteem
Esteem
Esteem
Tuffy
Ultraclean
Length
6.0 IN.
6.0 IN.
6.0 IN.
9.0 IN.
7.5 IN.
5.5 IN.
7.5 IN.
7.5 IN.
8.0 IN.
6.5 IN.
8 IN.
8 IN.
6.5 IN.
7.5 IN.
8.5 IN.
7.0 IN.
7.5 IN.
5.5 IN.
8.5 IN.
7.5 IN.
Shipping Weight
5 LBS.
10 LBS.
20 LBS.
20 LBS.
17.5 LBS.
10 LBS.
50 LBS.
100 OZ.
5 LBS.
20 LBS.
10 LBS.
12 LBS.
Beispiel: Grundbuch Dokumente (Freitext)
Beispiel:
Grundbuchinformationen in Freitext.
Wichtige Informationen sind aus dem Text extrahiert
worden, um strukturierte Suche zu unterstützen.
KUNDENBEISPIELE
Data Mastering in Action

Sampled 28k items across 20 categories

2120 Capacitors:

11976 Resistors:
Before
% Populated
23%
23%
21%
40%
15%
0%
After
% Populated
98%
99%
98%
100%
100%
100%
Before
Primary Resistor Attributes % Populated
Resistance
39%
Tolerance
36%
Power
35%
Classification - DRI
40%
Classification - HTS
15%
Classification - UNSPSC
0%
After
% Populated
96%
98%
98%
100%
100%
100%
Primary Capacitor
Attributes
Capacitance
Tolerance
Voltage
Classification - DRI
Classification - HTS
Classification - UNSPSC
Corrected, enriched, standardized
…in real-time
39
Drive Standards System-by-System,
Process-by-Process
Cleanup legacy
Standardize &
validate for load
Item
Hub
Search
X-Ref
External
DB
Transform and integrate between systems
40
Data Challenges – How Many Ways Can You Say “3M”?
41
Data Challenges – Same Product, Different Numbers
Different distributors and hospitals
use different identification numbers
Allegiance
Owens & Minor
BBMC-Colonial
BBMC-Durr
Kreisers
Midwest
Pacific
UnitedUMS
- M8630
- 4509008630
- 045098630
- 081048
- MINN8630
- TM-8630
- 3/M8630
- 001880
Industry Distributor Numbers
for 3M Product # 8630:
42
3M™ DuraPrep™ Surgical
Solution (Iodine Povacrylex
[0.7% available Iodine] and
Isopropyl Alcohol, 74%
w/w) Patient Preoperative
Skin Preparation
Oracle PDQ - Zusammenfassung
Quality Governance – Data Steward Dashboard
Exception Management – Validation & Remediation
Standardize
•
•
•
•
Std. Classification(s)
Std. Attributes
Std. Descriptions
Translate (inbound)
Match
• De-duplicate
• Merge
Enrich
• Classify
• Extract/append info
Repurpose
•
•
•
•
Translate (outbound)
(Re-)classify
(Re-)standardize
(Re-)format
Semantic Recognition – Contextual understanding & learning
Fragen