ODI und OBI bringen ein DWH zum Fliegen !

Transcription

BIRDS
ODI und OBI bringen ein DWH zum Fliegen !
Copyright © 2012 Actelion Pharmaceuticals Ltd
WIE ALLES BEGANN
VOR DEM BIRDS PROJECT :
Viel manuelle Nachbearbeitung notwendig
Keine einheitlichen Daten, nicht 1 Wahrheit
Besseres “Query-Tool” als Frontend
Validierung nicht mehr ausreichend
Zeitverlust
Reaktionszeiten zu hoch, nicht flexibel genug
Viele Diskussionen über die Korrektheit der Zahlen
Komplexität Datenmodell ARGUS
2
© 2012 Actelion Pharmaceuticals Ltd
BIRDS
Was ist BIRDS ?
3
BIRDS
BIRDS PROJECT : BI SOLUTION DEVELOPED BY GDSS
Business
Intelligence
Reports for
Drug
Safety
4
BIRDS
DATA WAREHOUSE CONCEPT
BIRDS
VALIDATION OVERVIEW
BFE
TFE
BBE
TBE
6
BIRDS
Generelle Regeln
7
GENERELLE REGELN
OBI
Alle Kalkulationen liegen vorbereitet im DWH
1 Mart = 1 Subject Area (SADEFxx)
Im OBI Repository wird nur noch durchgeschleust und per Modellierung
angereichert
Development ist Development ist Development
Keine Entwicklung auf anderen Systemen -> “die heile Welt”
8
GENERELLE REGELN
ODI
Transformations-Regeln
aufgrund der Validierung in Kontrolltabellen verwaltet
weniger als 10 Knowledge Module
Klare Definition der Strategien
Source Core = nur Head- und Versionstabellen
Im Zweifel werden die Daten nach SCD2 versioniert
9
BIRDS
Die Data Warehouse Architektur
10
BIRDS
DESIGN OVERVIEW
11
THE DATA WAREHOUSE ARCHITECTURE
PHYSICAL ENVIRONMENT
12
THE DATA WAREHOUSE ARCHITECTURE
DATA WAREHOUSE AREA’S
13
HELFERLEIN
METADATA TABELLEN
DWH_RULES
Contains rules necessary to transform data, which are needed to load into
CLEANSE and into CCORE. Rules of course are versioned
DWH_SINGLETON
Contains default values for columns, e.g. “-1, Not available” etc., which are
needed when loading into CCORE. Also Singleton table is versioned
DWH_SOURCE
Contains the source systems data is load from
DWH_LOAD_PROC
All load processes are contained here
14
BIRDS
Oracle Data Integrator
15
ORACLE DATA INTEGRATOR
DIE ODI-ARCHITEKTUR
16
BIRDS LOGICAL DATA SERVERS / CONTEXTS
Logical: Abstract definition of objects
Context: responsible for mapping physical to
logical objects before runtime
17
BIRDS
Die verwendeten Strategien
18
DIE STRATEGIEN IN KNOWLEDGE MODULES
WAS IST EIN KNOWLEDGE MODUL ?
Ein Code Template
für die generische Erzeugung einer Implementierungs-Strategie
Es gibt unterschiedliche KM-Typen
Loading KM (LKM)
Integration KM (IKM)
Check KM (CKM)
Journalization KM (JKM)
etc….
Beispiele für in KMs implementierte Strategien
Implementierung SCD
Implementierung Insert / Update
Implementierung Merge
Implementierung Index creation
etc.
KNOWLEDGE MODULES
SPECIAL KM’S
All special KM’s can be identified by the following informations:
------------------
*******************************************************************
Name of KM
Name:
IKM ACT STAGE
Purpose: Integration Knowledge Module to load data from a staging to a target database.
This is done using the JDBC Driver or an DB-Link in case of a table with LOB fields.
Author:
Date:
Serge Strubel
2011-11-22
Version:
20120611
Creation date
Latest change date
Modification (Date/User/Purpose):
Change log
2011-11-22/sstr/Creation of this IKM
2012-02-02/ano/Changes because TRUNCATE option was not running on DBSynonym
2012-06-11/sstr/Add Hint APPEND to all INSERT statement to avoid REDO generation
*******************************************************************
Options:
- TRUNCATE:
Truncates the target Table if TRUE (default: FALSE)
- TRACE:
Only simulates execution, inserts corresponding SQL statements into
DWH_TRACE table
KNOWLEDGE MODULES
FUNCTIONS BEHIND THE SPECIAL KM’S
CKM Oracle
Check KM to check data loaded
RKM Oracle
Reverse Engineer KM to get metadata from Oracle DB Dictionary
Customized to derive also DB Links and DB synonyms
IKM ACT STAGE
Integration KM to integrate data into DWH Staging area
Uses the JDBC driver or the DB Link when CLOB’s are loaded
IKM ACT CLEANSE
Integration KM to integrate data into DWH Cleansing area
Uses anonymous PL/SQL block to execute transformation rules for affected
columns stored in table DWH_RULES
KNOWLEDGE MODULES
FUNCTIONS BEHIND THE SPECIAL KM’S
IKM ACT CORE SCD1
Integration KM to integrate data not versioned into SCORE
Uses anonymous PL/SQL block to execute insert and update of dimension
header table
IKM ACT CORE SCD2
Integration KM to integrate versioned data into SCORE
Uses anonymous PL/SQL block to execute insert and update of dimension
version table
IKM ACT CORE Common
Integration KM to integrate data into Common CORE
During this integration the Singletons are inserted
IKM ACT MART
Integration KM to integrate data into corresponding DWH Area
ODI
Administration und Maintenance
23
BIRDS LOADPLANS
STAGE, CLEANSE, SCORE,
CCORE and MART are loaded in
parallel steps
Each step hierarchy (layer) is
executed serial
Each DWH area has a Pre and Post
tasks step hierarchy
BIRDS LOADPLAN EXCEPTIONS
2 step hierarchies
1. “Another Load Process is running” with
SET_STILL_RUNNING_TO_LOAD_PLAN_INFORMATION and
This procedure:
checks whether another loadplan is still running and cancels newly initiated
loadplan execution if the case.
BIRDS LOADPLAN EXCEPTIONS
1. f
2. “Birds Major Exception” with
•
Two scenario steps to be executed
•
EMAIL_TO_ADMIN and
•
SET_ERROR_TO_LOAD_PLAN_INFORMATION
This procedure:
Sends a mail to the ODI Admin group
Sets the load plan to status error in metadata table DWH_LOAD_PROC
THE FRONTEND TOOL –
ORACLE BI
Die OBI-Architektur and Umgebung
27
ORACLE BUSINESS INTELLIGENCE
DESIGN ÜBERSICHT
28
SPEZIALITÄTEN
OBI
1. Skins und Styles
–
Wurden an Firmenfarben angepasst
2. Standard-Layout Analyse
–
Header <ReportName>
–
Footer „For internal use only“
–
Automatische Anzeige des Filters
–
Tabelle
3. Übersichtsseite aller Variablen
4. Welcome Dashboard Seite
5. Getrennte OBI Katalog Bereiche
–
für Standard(=validierte) Reports und andere Analysen
VERFÜGBAR SUBJECT AREAS
30
14 Mar 2013
WELCOME PAGE
WHAT YOU SEE
After the login you see the following welcome page. From here you can jump to
the various analysis available
31
REIFEPROZESS EINER BI-LÖSUNG
AGILES VORGEHEN
1. OBIEE -> Argus
–
Aufbau der ersten Mockups über direkten Zugriff von OBI auf Argus
–
Resultat: Diskussion, Abnahme, Transparenz gegenüber Endbenutzer
2. OBIEE -> Stage
–
Erstellen einer Parallel-Struktur mit SQL Bordmitteln, tägliches Laden der
kompletten Daten aus Argus, Zugriff auf die selben Daten, aber aus Stage
–
Danach unbekümmerte Entwicklung&Validierung der DWH-Lösung
–
Resultat: zufriedene Endbenutzer, ungestörte Entwickler
3. OBIEE -> DWH
–
Während Aufbau des DWH Umstellung auf inkrementelles Laden, nur
Änderungen werden täglich verarbeitet
–
Resultat: optimierte Ladeläufe, bessere Performance, Near RealTime BI
ohne grossen Aufwand realisierbar
DAS ERGEBNIS
Wie sah es vorher aus und wie jetzt
33
DAS ERGEBNIS
FRONTEND
1. Umfangreiches, verlässliches Reporting in OBI auf Basis von validierten, mit
ODI, bereitgestellten Daten
2. Offizielle Berichte für Health Authorities werden aus BIRDS bereitgestellt
3. Zentralisierung des GDS Reporting bei Power Usern
End User fragt an, Power User erstellt Report
Resultat:
Schnellere Bereitstellung der Daten (ca. 1 Woche früher mit SAS, mit
OBI jetzt 2-3 Stunden )
Grössere Flexibilität
DAS ERGEBNIS
BACKEND
1. Die Daten sind jederzeit nachvollziehbar
Alle Änderungen sind entweder in DWH oder ODS vorhanden
2. Source-Systeme weniger belastet
Extrakte für SAS werden direkt aus BIRDS DWH bereitgestellt
3. Modularer Aufbau bietet maximale Flexibilität
LESSONS LEARNED
Was sind die Erfahrungen aus dem Projekt
36
LESSONS LEARNED
KNOWLEDGE MODULES MIT PL/SQL
Pro
Contra
LESSONS LEARNED
SOURCE CORE
Pro
Contra
LESSONS LEARNED
COMMON CORE
Pro
Contra
NÄCHSTE SCHRITTE
40
DIE NÄCHSTEN SCHRITTE
WAS KOMMT …
1. Erweiterung des DWH
–
um weitere Quellen
•
SmartTrack, CCT, FDA Public Domain Daten
2. Mehrmaliges Laden der Daten pro Tag
–
Unterschiedliche Zeitzone (CH, NJ, SSF etc.)
3. Ergänzung des BIRDS DWH um historische Data Marts für PSUR
4. Ausarbeitung OBI - Coaching für weitere Ausbaustufen
5. Evtl. Umstellung auf Scrum als Projektvorgehensmethode
RESÜMÉE
Die wichtigsten Ergebnisse
42
RESÜMÉE
KURZ UND KNACKIG
1. Strategisch planen zahlt sich aus
2. Standardisierung macht das Leben leichter
3. Ein DWH nutzt auch den anderen IT-Abteilungen
–
Die Migration von Argus wurde mittels BIRDS stark erleichtert
4. Deployment noch nicht ausgereift, obwohl viele Lösungen da sind (Solutions,
Smart Export/Import etc.)
Momentan im Einsatz ist Export / Import zwischen Repositories
Hat hier jemand Erfahrungen ? Dann bitte gerne melden.

ODI und OBI bringen ein DWH zum Fliegen !

Transcription

Similar documents

Nahrungsmittel- und Verpackungsmaschinen

BB Biotech AG Kayenburg AG Unternehmensstudie 2006 Beteiligungen

tokyo

Ink People Who Care

DUALSCOPE® FMP40 - HELMUT FISCHER GmbH Institut für

Group Controller BI (m/w)

Corporate Data

La`Do - ad.hroß

Tendence 2014 - TOP FAIR Messemagazin

Christmasworld 2013 - TOP FAIR Messemagazin

Document 6462017

Das offizielle Messemagazin |Christmasworld 2015

besuchsplaner 27

Das offizielle Messemagazin|Christmasworld 2016

coNQUer New worLdS! - Frankfurt Book Fair

Visitor Guide - Lödige Industries

Untitled - Cyprus Embassy Trade Centre in Berlin

Link to PDF

German-Romantic cone chest organ from the year

Untitled - Voltrega

Wohin überall die Schwyzer Kantonalbank die IPCO

Directory of product groups