Strojno učenje in odkrivanje znanja v podatkovnih bazah (data
Transcription
Strojno učenje in odkrivanje znanja v podatkovnih bazah (data
Univerza v Ljubljani Fakulteta za strojništvo Strojno učenje in odkrivanje znanja v podatkovnih bazah (data mining) Učno gradivo za predmet Inteligentni sistemi doc. dr. Bogdan Filipič Institut Jožef Stefan Jamova 39, 1000 Ljubljana [email protected] Ljubljana, 2002 1. Uvod Sodobne računalniške in komunikacijske tehnologije omogočajo zbiranje, shranjevanje in hitro dostopanje do velikih količin podatkov. Obstoječe baze podatkov pa ostajajo v veliki meri neobdelane in neizkoriščene. V njih je še veliko neodkritih in potencialno uporabnih informacij, do katerih bi lahko prišli le z ustrezno analizo podatkov. Razkorak med velikim obsegom uskladiščenih podatkov in njihovo skromno izkoriščenostjo je spodbudil razvoj novega področja v računalništvu, t.i. podatkovnega rudarjenja (angl. data mining), imenovanega tudi odkrivanje znanja v podatkovnih bazah (angl. knowledge discovery in databases – KDD). Področje se ukvarja z odkrivanjem implicitnih, doslej neznanih in potencialno uporabnih informacij v podatkih (Witten in Frank, 2000). Ključni korak v tem pristopu je uporaba strojnega učenja (angl. machine learning) na podatkih. Metode strojnega učenja iz obravnavanih podatkov izpeljejo posplošene opise v različnih oblikah, kot so npr. odločitvena drevesa ali klasifikacijska pravila. Ti rezultati omogočajo modeliranje, klasifikacijo in napovedovanje, za razliko od rezultatov statističnih metod pa dajejo tudi boljši vpogled v obravnavano problematiko in s tem pripomorejo k njenemu boljšemu razumevanju. V tem gradivu predstavljamo metodologijo odkrivanja znanja v podatkih, strojno učenje s poudarkom na induktivnem učenju odločitvenih dreves in prosto dostopno programsko orodje za analizo podatkov s strojnim učenjem Weka. Nato pokažemo praktične primere uporabe te metodologije pri podpori odločanja v proizvodnih procesih. 2. Odkrivanje znanja v podatkovnih bazah Po nekaterih ocenah se količina podatkov, shranjenih v podatkovnih bazah po vsem svetu, podvoji vsakih dvajset mesecev. Podatke s svojimi aktivnostmi generiramo vsi subjekti, od posameznikov do največjih korporacij, saj pri današnjem načinu življenja in poslovanja skoraj ni več aktivnosti, ki ne bi bila tudi računalniško podprta. Shranjevanje podatkov je enostavno in poceni, kar velja tako na nivoju posameznega osebnega računalnika kot globalnega medmrežja. Ob nenehnem napredovanju pomnilniških zmogljivosti in globalizaciji procesov, ki podatke ustvarjajo, eksponentni rasti obsega shranjenih podatkov ni videti konca. Ob tem pa se povečuje razkorak med količino ustvarjenih podatkov in količino podatkov, ki jih ljudje obvladujemo, razumemo in koristno uporabljamo. Naše tovrstne zmogljivosti napredujejo zelo počasi, zato se z večanjem obsega uskladiščenih podatkov delež razumljenih in koristno izrabljenih drastično manjša. Korak k zmanjševanju te razlike je bil storjen z začetkom razvoja metodologije odkrivanja znanja v podatkovnih bazah okrog leta 1990. Metodologija se loteva reševanja problemov z analizo podatkov, ki so že shranjeni v podatkovnih bazah. Njeno bistvo je v iskanju takšnih vzorcev (povezav, odvisnosti) v podatkih, ki na ekspliciten način povzemajo v podatkih vsebovane zakonitosti, omogočajo sklepanje in pojasnjevanje in so uporabni pri nadaljnjih odločitvah. Odkrivanje znanja v podatkovnih bazah pomeni nadaljevanje in razširitev koncepta strojnega učenja. Strojno učenje je tehnična (algoritmična) osnova, ki jo je novo področje izpopolnilo in prilagodilo za obravnavanje velikih baz podatkov, s kakršnimi se srečujemo v praksi. Zanje so poleg kompleksnosti ponavadi značilni še redundantnost zapisov, šum v podatkih, 1 manjkajoče vrednosti in podobne, za formalno obravnavo neugodne lastnosti, ki pa se jim v praksi le stežka izognemo. Odkrivanje znanja v podatkovnih bazah je netrivialen postopek, ki obsega naslednje korake: • • • • • izbiro podatkov, predprocesiranje podatkov, transformacijo podatkov, analizo oz. obdelavo podatkov, interpretacijo in ovrednotenje odkritih vzorcev. Izbira podatkov pomeni določitev tistih podatkov iz množice razpoložljivih, ki jih bomo analizirali. Izbiro lahko opravimo tako na nivoju podatkovnih zapisov kot na nivoju komponent zapisov. Dobljeni podmnožici podatkov pravimo ciljni podatki. Predprocesiranje podatkov običajno pomeni nadaljnje krčenje ciljnih podatkov. V tem koraku ugotavljamo prisotnost šuma v podatkih, kot so napačne ali manjkajoče vrednosti. Napake so lahko sintaktične ali semantične. Pojavijo se pri vnašanju, prenosu ali predhodnih obdelavah podatkov. Sintaktične napake zaznamo z leksikalnim pregledovanjem podatkov, semantične (npr. vrednost podatka izven pričakovanega obsega vrednosti) pa s statističnim preverjanjem. Takšne zapise popravimo, če je to mogoče, v nasprotnem primeru pa jih izločimo iz nadaljnje obravnave. Manjkajoče vrednosti podatkov še ne pomenijo nujno, da je nek podatkovni zapis neuporaben za analizo. Mnoge metode strojnega učenja namreč znajo obravnavati tudi manjkajoče vrednosti. Transformacija podatkov je namenjena neposredni pripravi predprocesiranih podatkov za analizo z izbrano metodo strojnega učenja. Podatke iz obstoječega formata pretvorimo v format, kakršnega zahteva izbrana metoda. S tem iz predprocesiranih podatkov dobimo transformirane podatke. Ključni korak v postopku odkrivanja znanja v podatkovnih bazah je njihova analiza oz. obdelava s strojnim učenjem. Zanjo uporabimo primerno metodo, ki ustreza tipu zastavljene naloge (klasifikacija, razvrščanje v skupine, regresijsko modeliranje) in lastnostim podatkov (zvezni ali diskretni, urejene ali neurejene vrednosti, prisotnost neznanih vrednosti ipd.). Analiza odkrije relevantne vzorce v podatkih. Ti so lahko predstavljeni na različne načine, npr. kot odločitvena drevesa, pravila tipa če–potem (angl. if–then), odločitveni seznami, regresijska drevesa itd. Oblika je pogojena z vrsto problema in uporabljenim algoritmom strojnega učenja, pa tudi z namenom uporabe. Obdelavi podatkov sledita interpretacija in ovrednotenje odkritih zakonitosti. Dobljene rezultate pojasnimo v kontekstu obravnavane problematike ter jih primerjamo z obstoječim znanjem in morebitnimi rezultati drugih metod. S testi ovrednotimo tudi zanesljivost rezultatov. Podamo jo kot pričakovano klasifikacijsko točnost, napako napovedovanja ipd., odvisno od uporabljene metode in oblike rezultata. Opisani postopek shematično prikazuje slika 1. V njem je kot končni rezultat iz podatkov pridobljeno znanje. Namen postopka seveda ni pridobivanje znanja samega zase, temveč za uporabo v reševanju problemov na obravnavanem področju, kot so modeliranje, nadzor in vodenje, podpora odločanju ipd. Pridobljeno znanje na ta način dobi uporabno vrednost. 2 podatki IZBIRA PODATKOV ciljni podatki PREDPROCESIRANJE PODATKOV predprocesirani podatki TRANSFORMACIJA PODATKOV transformirani podatki ANALIZA PODATKOV vzorci, zakonitosti INTERPRETACIJA IN OVREDNOTENJE znanje Slika 1: Značilni koraki v postopku odkrivanja znanja v podatkovnih bazah 3. Strojno učenje Pod učenjem razumemo pridobivanje znanja, bodisi preko neposrednega sprejemanja od učitelja, s samostojnim študijem ali skozi izkušnje. To pojmovanje se seveda nanaša na učenje pri človeku, ko pa govorimo o strojnem učenju, ki naj bi ga izvajal stroj – računalnik, ta definicija ne zadošča. Zato v splošnem kot učenje opredelimo tiste aktivnosti, ki pripomorejo k temu, da nek sistem bolje opravlja svoje naloge. Obstaja več vrst učenja, ki se razlikujejo po tem, kakšni sta vlogi učečega se sistema (učenca) in sistema, ki poučuje (učitelja). V primeru enostavnega učenja sistem, ki se uči, zgolj sprejema znanje od učitelja, brez da bi ga sam preverjal ali dopolnjeval. Pri človeku je to pomnjenje podanih dejstev, pri računalniku pa sprejemanje instrukcij za delovanje (programiranje). Drug skrajni primer je samostojno odkrivanje zakonitosti brez sodelovanja učitelja. To je najvišja oblika učenja pri človeku, računalniki pa je v splošnem (še) ne obvladajo. Vmes med tema skrajnostima je učenje na osnovi primerov (angl. instance-based learning), imenovano tudi induktivno učenje. V tem primeru učečemu se sistemu posredujemo učne primere, ki predstavljajo rešene primere iz nekega področja, sistem pa primere posploši tako, da iz njih izpelje splošna pravila ali zakonitosti, ki omogočajo nadaljnje reševanje problemov na tem področju. Koncept učenja na osnovi primerov ilustrira slika 2. Strojno učenje (Mitchell, 1997) je nastalo kot alternativa statistični analizi podatkov. Njegov namen ni zgolj graditi čimbolj zanesljive modele iz podatkov, temveč morajo biti modeli tudi takšni, da jih je moč pojasniti in razumeti. Prav transparentnost rezultatov je bistvena novost, ki jo prinašajo sistemi strojnega učenja v primerjavi s statističnimi metodami. 3 učni primeri (rešeni problemi) splošna pravila, zakonitosti SISTEM, KI SE UČI Slika 2: Učenje na osnovi primerov 3.1. Induktivno strojno učenje Med vsemi oblikami strojnega učenja je najbolj raziskano prav učenje iz primerov ali induktivno učenje. Učne primere za sisteme induktivnega strojnega učenja ponavadi opišemo z atributi in razredi. Atributi predstavljajo lastnosti obravnavanih objektov ali situacij, razred pa opisuje, kako ta objekt ali situacijo obravnavamo ali kakšno odločitev zanj(o) sprejmemo. Ponazorimo takšen način opisovanja učnih primerov s preprostim odločitvenim problemom. Potrebno se je odločiti, katero prevozno sredstvo bomo uporabili za pot v službo, pri čemer kot vplivne dejavnike upoštevamo vreme, temperaturo in stanje avtomobila. To so atributi odločitvenega problema, izbrano prevozno sredstvo pa je razred. V tabeli 1 je zbranih nekaj primerov odločitev. Vsak primer je opisan s t.i. atributnim vektorjem, ki vsebuje vrednosti atributov in razreda (na razred lahko gledamo tudi kot na posebej odlikovani atribut). Atributi so različnih vrst, npr. numerični in diskretni.Vrednosti dveh atributov, označeni z “?”, sta neznani. Tabeli s tako opisanimi primeri pravimo odločitvena tabela (angl. decision table). Tabela 1: Primer odločitvenega problema: izbira prevoznega sredstva Vreme sončno deževno sneži sončno oblačno Temperatura 10 ? 0 5 15 Avto pokvarjen ? da ne ne ne Prevozno sredstvo kolo avtobus avtobus peš avto Induktivno strojno učenje že nekaj časa ni več le raziskovalna tema, temveč tudi širše dostopna metodologija, implementirana v obliki prototipnih akademskih in komercialnih računalniških programov. Ti programi generirajo rezultate v obliki odločitvenih dreves, klasifikacijskih pravil ali celo neposredno uporabnih računalniških programov, ki implementirajo iz primerov izpeljani odločitveni postopek (Bratko, 1993). Programi strojnega učenja so široko uporabni pri zajemanju znanja za ekspertne sisteme in sisteme za podporo odločanja, značilna področja uporabe pa so medicinska diagnostika, inženirski problemi ter poslovno in finančno odločanje. 3.2. Učenje odločitvenih dreves Med sistemi strojnega učenja na osnovi primerov, podanih v atributnem zapisu, je posebej znana družina učnih algoritmov TDIDT (angl. top-down induction of decision trees) 4 (Quinlan, 1986). Ti algoritmi dajejo rezultat učenja v obliki odločitvenih dreves. Odločitveno drevo je v formalnem smislu graf, sestavljen iz vozlišč in povezav. Notranja vozlišča drevesa so obeležena z atributi, povezave z vrednostmi atributov, zunanja vozlišča, imenovana tudi listi, pa z vrednostmi razredov. Posamezna pot od vrhnjega vozlišča (korena) do lista ustreza enemu pravilu tipa če-potem. Predpostavka (if del) takega pravila je konjunkcija testov na atributih, ki jih na poti opravimo na notranjih vozliščih, zaključek (then del) pravila pa vrednost razreda, zapisana v listu. Na ta način lahko odločitveno drevo pretvorimo v ekvivalenten nabor pravil. Predstavimo koncept odločitvenega drevesa z zgledom. Na sliki 3 je primer odločitvenega drevesa za problem izbire prevoznega sredstva. Drevo je izpeljano iz učnih primerov v tabeli 1 in je enakovredno odločitvam, zapisanim v tabeli, le da jih predstavlja na preglednejši način. Pri velikem številu učnih primerov se odločitveno drevo ponavadi izkaže tudi za zelo kompakten zapis zakonitosti, vsebovanih v primerih. vreme sončno temperatura ≤5 >5 peš kolo oblačno deževno, sneži avto avtobus Slika 3: Odločitveno drevo za izbiro prevoznega sredstva, zgrajeno iz primerov v tabeli 1 Odločitvenemu drevesu s slike 3 ustrezajo štiri pravila za izbiro prevoznega sredstva, ki jih lahko preberemo vzdolž povezav od korena do listov v drevesu: 1) 2) 3) 4) Če je vreme sončno in temperatura ≤ 5, potem peš. Če je vreme sončno in temperatura > 5, potem s kolesom. Če je vreme oblačno, potem z avtom. Če je vreme deževno ali sneži, potem z avtobusom. In kako poteka gradnja odločitvenega drevesa iz učnih primerov v atributnem zapisu? Osnova postopka je delitev učne množice na podmnožice, ki poteka rekurzivno, vse dokler vsi primeri v posamezni podmnožici ne pripadajo enemu samemu razredu. Ta učni algoritem, imenovan ID3, je predlagal Quinlan (1979). Besedni zapis algoritma vidimo na sliki 4. 5 Če vsi učni primeri pripadajo enemu razredu, potem kreiraj list, označen s tem razredom, sicer: 1) poišči najinformativnejši atribut v učni množici, 2) kreiraj vrhnje vozlišče drevesa, označeno s tem atributom, 3) razdeli učno množico na podmnožice glede na vrednosti tega atributa, 4) rekurzivno ponovi postopek na vsaki podmnožici. Slika 4: Algoritem za gradnjo odločitvenih dreves ID3 Ključni element gradnje odločitvenega drevesa je izbira najinformativnejšega atributa v vsakem rekurzivnem koraku, saj se na osnovi vrednosti tega atributa izvede delitev trenutno obravnavane množice učnih primerov in kreira novo vozlišče v nastajajočem drevesu. Informativnost atributov je definirana na naslednji način. Naj učna množica vsebuje primere iz NC razredov, porazdelitev razredov pa naj bo C. Po informacijski teoriji je količina informacije, potrebna za klasifikacijo primera iz te množice, enaka NC E (C ) = −∑ pi log 2 pi (1) i =1 Pri tem je pi verjetnost, da primer pripada i-temu razredu. Če to množico razdelimo v podmnožice na osnovi atributa A, ki ima Nv možnih vrednosti, količina informacije za klasifikacijo primera postane NV E (C | A) = −∑ p j j =1 NC pij i =1 j ∑p log 2 pij pj (2) Tu je pj verjetnost, da ima primer j-to vrednost atributa A, pij pa verjetnost, da primer hkrati pripada i-temu razredu in ima j-to vrednost atributa A. Informativnost atributa je potem Inf ( A) = E (C ) − E (C | A) (3) in najinformativnejši atribut je tisti z najvišjo vrednostjo Inf(A). Verjetnosti, ki jih potrebujemo pri tem izračunu, ponavadi ocenimo z relativnimi frekvencami v učni množici. Razširitev osnovnega učnega algoritma ID3 je program Asistent (Cestnik in sod., 1987), ki vsebuje več dopolnitev, pomembnih za učenje iz realnih podatkov: možnost učenja iz nepopolnih podatkov, binarizacijo atributov (t.j. delitev primerov v dve podmnožici v vsakem koraku) in rezanje dreves (angl. tree pruning), ki povečuje zanesljivost rezultatov pri učenju iz šumnih podatkov. Naslednik algoritma ID3 je tudi algoritem C4.5, ki je zelo popularen zaradi javne dostopnosti in dobre spremljajoče knjige (Quinlan, 1993). 3.3. Program za analizo podatkov s strojnim učenjem Weka Med novejšimi prosto dostopnimi programskimi orodji za odkrivanje znanja v podatkovnih bazah se je močno uveljavil sistem Weka (Witten in Frank, 2000). Razvit je bil na Oddelku za računalništvo Univerze Waikato v Hamiltonu na Novi Zelandiji in je dostopen na naslovu 6 http://www.cs.waikato.ac.nz/ml/weka. Njegovo ime je akronim za Waikato Environment for Knowledge Analysis (weka je obenem tudi ptič neletalec, ki živi samo na Novi Zelandiji). Program Weka je implementiran je v programskem jeziku java, kar ga dela uporabnega na različnih tipih računalnikov. Posebna praktična vrednost Weke pa je tudi v tem, da to ni implementacija enega samega algoritma strojnega učenja, temveč vključuje širok spekter učnih algoritmov: učenje odločitvenih dreves, regresijskih dreves in povezovalnih pravil, metodo najbližjih sosedov, Bayesov klasifikator in druge. Za vse učne algoritme je v Weki predpisan enoten format vhodnih podatkov. Podatki morajo biti zapisani na tekstovni datoteki v obliki, kot je za primer prej obravnavane izbire prevoznega sredstva prikazana na sliki 5. Vhodna datoteka vsebuje tri pomembne elemente: ime obravnavane relacije oz. učnega problema, opis atributov in opis učnih primerov. Na primeru vidimo, da atribute in razred obravnavamo enotno. Za vsakega podamo ime in tip, ki je lahko numeričen ali diskreten. Za diskretne atribute naštejemo možne vrednosti. Privzeta nastavitev programa je, da zadnji atribut (v našem primeru prevozno_sredstvo) obravnava kot razred, vendar lahko to nastavitev po potrebi spremenimo in kot razred obravnavamo poljuben drug atribut. Za ključno besedo data naštejemo učne primere, opisane z atributi v enakem vrstnem redu, kot so bili atributi definirani. Weka sprejema tudi neznane vrednosti atributov. Te označimo z “?”. @relation prevoz @attribute @attribute @attribute @attribute vreme {soncno, oblacno, dezevno, snezi} temperatura numeric avto_pokvarjen {da, ne} prevozno_sredstvo {pes, kolo, avtobus, avto} @data soncno, 10, ?, kolo dezevno, ?, da, avtobus snezi, 0, ne, avtobus soncno, 5, ne, pes oblacno, 15, ne, avto Slika 5: Predstavitev odločitvenega problema o izbiri prevoznega sredstva v formatu, ki ga zahteva program za analizo podatkov Weka Učenje odločitvenih dreves v Weki omogoča program J4.8. To je implementacija Quinlanovega algoritma C4.5 Revision 8, ki je bil zadnja javno dostopna verzija tega algoritma pred objavo komercialnega naslednika C5.0, ki ga trži podjetje RuleQuest Research (za informacije o podjetju glej http://www.rulequest.com, o programu pa http://www.rulequest.com/see5-info.html). Rezultat gradnje odločitvenega drevesa za izbiro prevoznega sredstva, dobljen s programom J4.8, vidimo na slikah 6 in 7. Na prvi je izpis drevesa v tekstovni obliki (t.i. lineariziran izpis), na drugi pa preglednejši grafični prikaz. Nekoliko drugačna topologija drevesa v primerjavi s tisto na sliki 3 izvira iz dejstva, da je bila tokrat uporabljena binarizacija atributov. Hitro pa lahko ugotovimo, da sta drevesi pomensko enakovredni in ustrezata istemu naboru pravil (na sliki 7 simbol “!=” pomeni “ni enako”). 7 J48 pruned tree --------------vreme = soncno | temperatura <= 5.0: pes (1.0) | temperatura > 5.0: kolo (1.0) vreme != soncno | vreme = oblacno: avto (1.0) | vreme != oblacno: avtobus (2.0) Number of Leaves : Size of the tree : 4 7 Slika 6: Lineariziran zapis odločitvenega drevesa za izbiro prevoznega sredstva, dobljen z učnim algoritmom J4.8 Slika 7: Grafični prikaz odločitvenega drevesa za izbiro prevoznega sredstva, dobljenega z učnim algoritmom J4.8 3.4. Vrednotenje rezultatov strojnega učenja Rezultat strojnega učenja, npr. odločitveno drevo, lahko vrednotimo po več kriterijih. Pomembna sta predvsem njegova klasifikacijska točnost in razumljivost. Za ugotavljanje klasifikacijske točnosti so bile razvite razne empirične metode, razumljivost oz. smiselnost pa najbolje ovrednoti strokovnjak za problemsko področje, na katerega se rezultat nanaša. Klasifikacijska točnost odločitvenega drevesa je delež obravnavanih primerov, ki jih drevo pravilno klasificira. Ločimo klasifikacijsko točnost na učnih in testnih primerih. Klasifikacijsko točnost na učnih primerih ugotovimo tako, da primere, na katerih je bilo zgrajeno drevo, klasificiramo, t.j. z drevesom napovemo njihove razrede, in ugotovimo, kolikšen je delež primerov, pri katerih se dejanski in napovedani razred ujemata. Za uporabnost drevesa na bodočih, doslej nevidenih primerih z obravnavanega problemskega 8 področja je bolj informativna klasifikacijska točnost, dobljena na testnih primerih. To dobimo tako, da celotno množico primerov razdelimo na učno in testno. Na učni zgradimo drevo, na testni, ki je učni algoritem ni obravnaval, pa testiramo točnost. Običajno ta test za dano množico ponovimo večkrat pri različnih delitvah primerov na učne in testne, kot točnost pa podamo povprečje takih testov. V zadnjem času se za določanje klasifikacijske točnosti najpogosteje uporablja t.i. prečno preverjanje (angl. cross-validation), kjer opravimo določeno število delitev primerov na učne in testne in pripadajoča testiranja tako, da so testne množice med seboj disjunktne, testne množice iz vseh poskusov pa skupaj sestavljajo celotno množico primerov. Tako npr. pri 10-kratnem prečnem preverjanju v vsakem od desetih poskusov uporabimo 90% primerov za učenje in 10% za testiranje, kot testni pa so skozi vse poskuse uporabljeni vsi (vsakokrat drugi) razpoložljivi primeri. Poseben primer prečnega preverjanja je metoda “izpusti enega” (angl. leave-one-out), pri kateri na množici n primerov opravimo n testov, pri čemer se vsakič učimo na n–1 primerih, preostalega pa uporabimo za testiranje. Zaradi dolgotrajnosti postopka pa ta metoda testiranja pride v poštev predvsem pri manjših množicah. V zvezi s klasifikacijsko točnostjo je v strojnem učenju poznan tudi fenomen možnosti pretiranega prilagajanja (angl. overfitting) modela podatkom, ki pride zlasti do izraza v primeru šumnih podatkov. Zgrajeni model (odločitveno drevo) namreč lahko opiše podrobnosti v učni množici in s tem na njej doseže visoko klasifikacijsko točnost, vendar je njegova sposobnost posploševanja majhna, kar se odraža tako, da je klasifikacijska točnost drevesa na testnih podatkih, na katerih učenje ni potekalo, nizka. To preprečimo tako, da gradnjo drevesa v posameznih vejah zaustavimo še preden delitev učne množice pripelje do “čistih” podmnožic, katerih primeri pripadajo enemu samemu razredu. To dosežemo z ustrezno nastavitvijo parametrov učnega programa. Posledica je manjše odločitveno drevo, ki ima običajno nekoliko nižjo klasifikacijsko točnost na učni množici, na testni pa višjo, kot bi jo imelo originalno drevo, ki bi povsem natančno opisovalo vse učne primere. V programu Weka v ta namen uporabljamo parametra minimalno število primerov v listu drevesa (angl. minimum number of instances in a leaf) in prag zaupanja za rezanje drevesa (angl. confidence threshold for pruning) (Witten in Frank, 2000, str. 282). Prvi ima privzeto vrednost 2, s povečevanjem te vrednosti pa dobimo manjša drevesa. Drugi ima privzeto vrednost 25%, večja vrednost ima za posledico večje drevo, manjša pa manjše drevo. 4. Sinteza odločitvenega postopka za metalurški proizvodni proces Prvi primer sinteze odločitvenega postopka iz podatkov je iz obrata hladne valjarne v jeseniški železarni (Karba, 1994). Pri hladnem valjanju trakov se sprošča veliko toplote, zato v tem proizvodnem postopku velja posebna pozornost hlajenju. Valjalna naprava ima vgrajen hladilni sistem, ki odvaja toploto s stalnim pretokom hladilne tekočine. Kot hladilna tekočina se uporablja oljna emulzija, t.j. zmes vodotopnega olja in vode. Kakovost emulzije je bistvenega pomena za kakovost hladno valjanih trakov, ki morajo imeti čisto površino ustrezne hrapavosti. Zaradi uporabe emulzije namreč ne sme priti do onesnaženja površine trakov, kakovost emulzije pa tudi vpliva na koeficient trenja in silo valjanja, kar odloča o kakovosti polizdelka. Stanje valjalniške emulzije je zato potrebno dnevno nadzirati in v primeru slabe kakovosti izvesti ukrepe za njeno izboljšanje. 9 4.1. Odločitveni problem Z laboratorijsko analizo in meritvami se dnevno spremlja več parametrov valjalniške emulzije, ki so pomembni za kakovost proizvodnega postopka. Med njimi so: • • • • • število omiljenja emulzije, količina železa v emulziji, količina železa v gošči emulzije, koncentracija olja v emulziji in količina neaktivnega olja v emulziji, pomembna pa sta tudi podatka o dnevno dodanih olju in bazi. Vse to vpliva na uvrstitev emulzije v enega od pet kakovostnih razredov, glede na kater je ptrebno izvesti ustrezne ukrepe. Razredi in pripadajoči ukrepi so: 1) ”super” – stanje emulzije je povsem v redu, ni potrebno ukrepati; 2) ”odlično” – preveriti je potrebno filtriranje in kroženje hladilne tekočine, odstopanja parametrov pa popraviti z dodajanjem emulzije ali emulzijskega olja; 3) ”dobro” – odstopanja parametrov prav tako popraviti z dodajanjem emulzije ali emulzijskega olja in povečati pomik magnetnega filtra in odpreti globinsko zračenje; 4) ”sprejemljivo” – na enak način popraviti odstopanja parametrov, dodatno povečati pomik magnetnega filtra in filtrirati tudi v času mirovanja valjalnega ogrodja; 5) ”slabo” – emulzijo je potrebno zamenjati. Odločitveni problem je torej na osnovi vrednosti parametrov emulzije določiti njeno stanje (razred) in nato izvesti ustrezne ukrepe. V vlogi odločevalca je bil vodja valjalne naprave, ki se je v kritičnih primerih posvetoval tudi s strokovnjakom kemikom. Skozi daljše časovno obdobje pa so primere teh odločitvenih situacij tudi evidentirali. Zbrana baza podatkov je nato omogočila avtomatizacijo odločitvenega postopka z uporabo strojnega učenja. 4.2. Učenje odločitvenega postopka na primerih Baza podatkov z okrog dvesto primeri vrednotenja valjalniške v atributnem zapisu je bila analizirana z induktivnim strojnim učenjem. Kot atributi so nastopali parametri emulzije, razred pa je bil kakovost emulzije, iz katere sledijo ukrepi za njeno izboljšanje. V začetni različici je bil za analizo uporabljen učni program Asistent (Cestnik in sod., 1987). Izkazalo se je da z njim dobljeno odločitveno drevo dosega visoko klasifikacijsko točnost, njegovo ustreznost pa je potrdil tudi vodja naprave z dolgoletnimi izkušnjami pri določanju ukrepov za izboljševanje emulzije. Odločitveno drevo oz. njemu enakovredna klasifikacijska pravila so bila nato vgrajena v ekspertni sistem, t.j. računalniški program, ki je prevzel vlogo odločevalca za določanje ukrepov za izbolševanje emulzije v hladni valjarni. Izkazalo se je celo, da je bil s tem uspešno rešen problem odhoda za to nalogo usposobljenega delavca iz delovnega razmerja. S kombiniranjem različnih metod učenja je bila zanesljivost tega sistema naknadno še izboljšana (Karba, 1994). Do zamenjave tehnološkega postopka je bil leta v redni uporabi in je predstavljal enega prvih in po obsegu zelo pomembnih prenosov metodologije strojnega učenja v prakso v Sloveniji. 10 Na sliki 8 vidimo primer odločitvenega drevesa za ta odločitveni problem. Drevo je bilo zgrajeno s programom Weka na podmnožici 108 primerov iz obravnavane baze podatkov, razpoložljivi v eksperimentalne namene. Njegova klasifikacijska točnost na učnih podatkih je 78%, na testnih podatkih pa 74%. Slika 8: Odločitveno drevo za določitev stanja valjalniške emulzije, zgrajeno na podmnožici učnih primerov 5. Izbira najustreznejšega orodja za obdelovalni proces V nadaljevanju predstavljamo razvoj odločitvenega postopka za izbiro orodja v industrijskem obdelovalnem procesu (Filipič in Junkar, 1994, 2000). Študija je bila napravljena za Tovarne industrijskih nožev Železarne Ravne. Odločitveni problem je izbira ustreznega brusa za vsako od operacij, ki jih je potrebno izvesti pri brušenju nožev. Izbrati brus pomeni določiti njegovo trdoto, zrnatost in strukturo. Na izbiro brusa poleg vrste operacije vplivata še kemična sestava materiala obdelovanca in način njegove toplotne obdelave. Prvi korak k posodobitvi proizvodnje v omenjenem obratu je bila izgradnja tehnološke baze podatkov za industrijske nože. V njej so zbrani podatki o obdelovalnih operacijah v proizvodnji nožev, med njimi tudi za brušenje. Njena računalniška izvedba omogoča hitro izdelavo dokumentacije v pripravi proizvodnje, tipiziranje orodij in s tem zmanjševanje njihovih zalog ter hitrejšo pripravo tehnoloških predpisov za nove izdelke. Predpise za izbiro brusov, zbrane v tehnološki bazi podatkov, smo nato analizirali s strojnim učenjem. Iz njih smo tvorili pravila za določitev vsake od treh lastnosti orodja kot tudi celotne specifikacije in 11 pokazali možnost kompaktnejše predstavitve predpisov. Analiza je obenem pokazala nekonsistentnosti v tehnološki bazi podatkov. Ugotovljeno je bilo, da je za izvajanje nekaterih operacij brušenja v uporabi po več različnih predpisov za izbiro orodja. To je posledica dela na različnih strojih ter različne prakse posameznih operaterjev. 5.1. Odločitveni problem Industrijski noži so namenjeni rezanju materialov, kot so papir, pločevina, usnje ipd. Brušenje nožev je zadnja faza v njihovi proizvodnji in je zato posebej pomembno za njihovo kvaliteto. Brušenje noža obsega šest operacij, vezanih na obdelavo posameznih ploskev: brušenje ploščine, naklona, dolžine, širine, rezine in širine rezine. Noži so izdelani iz različnih vrst jekla, ki se razlikujejo po kemični sestavi. Poznani so podatki o vsebnosti naslednjih elementov v njih: ogljik (C), krom (Cr), molibden (Mo), vanadij (V), volfram (W) in silicij (Si). Na lastnosti izdelka vpliva tudi toplotna obdelava materiala. Jeklo za izdelavo nožev je bodisi žarjeno ali kaljeno na enega od dveh načinov: 48–54 HRc (v nadaljevanju kaljenje 1) ali 55–63 HRc (kaljenje 2). Značilnosti brusa, ki vplivajo na kvaliteto obdelane površine, so njegova trdota, zrnatost in struktura. Bruse delimo po trdoti v razrede: • • • • • zelo mehki (oznake E, F, G), mehki (H, I, J, K), srednje trdi (L, M, N, O), trdi (P, R, S) in zelo trdi (T, U, V, Z). Po zrnatosti ločimo: • • • • zelo grobe (oznake 8–16), grobe (20–36), srednje zrnate (40–70) in fine (80–100) bruse. Struktura brusa je lahko: • • • • zaprta (oznake 1–3), srednja (4–6), odprta (7–9) ali močno porozna (10–12). Naloga je za dano operacijo brušenja, kemično sestavo obdelovanca in njegovo toplotno obdelavo določiti ustrezno specifikacijo brusa, njegovo trdoto, zrnatost in strukturo. 5.2. Sinteza odločitvenega postopka s strojnim učenjem Za sintezo odločitvenega postopka za izbiro brusov smo kot učne primere uporabili predpise iz tehnološke baze podatkov. Od skupno 362 predpisov se jih 190 nanaša na izbiro brusov v 12 redni proizvodnji, 172 pa je alternativnih in se uporabljajo v primeru zastojev ali okvar na redni proizvodni liniji. Pri analizi smo upoštevali 190 redno uporabljanih predpisov. Ti za različna jekla in operacije brušenja v obliki diagramov podajajo ustrezne karakteristike brusa v odvisnosti od toplotne obdelave obdelovanca. Za učni program je vsak predpis učni primer, opisan z atributi operacija brušenja, toplotna obdelava in vsebnosti šestih elementov, razred pa karakteristike brusa. Učenje je potekalo na dva načina: prvič ločeno za vsako od treh karakteristik brusa in drugič enotno za popolno specifikacijo brusa. V drugem primeru je bil razred kartezični produkt razredov vseh treh podproblemov. Uporabljeni učni primeri pokrivajo bruse, ki so po trdoti zelo mehki, mehki ali srednje trdi, katerih zrnatost je groba ali srednja, struktura pa srednja, odprta ali močno porozna. Nastopajočih kombinacij teh vrednosti (t.j. specifikacij brusov oz. razredov v primeru učenja celotnih specifikacij) je 13. Podatke o klasifikacijskih točnostih na testnih primerih prikazuje tabela 2. Tako pri odločanju o posamezni karakteristiki brusa kot o popolni specifikaciji je dosežena klasifikacijska točnost zelo nizka, saj je le za spoznanje boljša od zastopanosti večinskega razreda. Pregled dreves in klasifikacije z njimi je pokazal, da je vzrok za to nekonsistentnost predpisov. V velikem številu primerov se za isto operacijo brušenja, vrsto materiala in toplotno obdelavo uporablja po več različnih brusov, razlike pri posameznih karakteristikah pa dosegajo tudi dva kvalitativna razreda. V listih dobljenih odločitvenih dreves zato tipično nastopa po več razredov. Da bi pokazali uporabnost avtomatske sinteze odločitvenega postopka na konsistentnejši množici podatkov, smo iz učne množice izbrali podmnožice primerov, ki ustrezajo predpisom za brušenje na posameznih strojih (BVP-40, BVP-60a, Sielemann) in na njih izvedli gradnjo odločitvenih dreves za specifikacije brusov. V vseh primerih smo dobili zelo visoke klasifikacijske točnosti (glej tabelo 2), kar potrjuje potrebo po uskladitvi predpisov med različnimi operaterji. Tabela 2: Klasifikacijske točnosti pri obravnavanih problemih izbire orodja Odločitveni problem Trdota brusa Zrnatost brusa Struktura brusa Celotna specifikacija brusa Brusi za stroj BVP-40 Brusi za stroj BVP-60a Brusi za stroj Sielemann Klasifikacijska točnost Zastopanost večinskega razreda na testnih primerih [%] [%] 44,2 58,5 52,6 65,2 51,0 57,5 27,4 36,3 32,3 95,3 66,7 96,0 66,7 100,0 V ilustracijo podajamo odločitveno drevo, dobljeno za določanje specifikacij za izbiro orodja za stroj BVP-60a (slika 9). Vsakemu od treh razredov brusov, ki se na stroju uporabljajo, ustreza eno klasifikacijsko pravilo pravilo (slika 10). Dobljena pravila za vse stroje po oceni tehnologov smiselno povzemajo odločitveni postopek in so obenem pregledna predstavitev predpisov iz tehnološke baze. Od predpisov so kompaktnejša, saj v njih kot atribut ne nastopa 13 operacija brušenja, temveč le vsebnost ogljika in toplotna obdelava jekla. Čeprav npr. na stroju BVP-60a izvajajo štiri operacije, t.j. brušenje ploščine, naklona, širine in širine rezine, se je izkazalo, da je izbira brusa po kvalitativnih vrednostih karakteristik neodvisna od operacije. Navedena pravila so enakovredna zamenjava za nekaj strani diagramov v obstoječi tehnološki dokumentaciji. vsebnost_C ≤ 1% >1% SrT-SrZ-SrS topl_obdelava žarjenje ZMe-GrZ-MPo kaljenje1, kaljenje 2 Me-GrZ-MPo Slika 9: Odločitveno drevo za izbiro brusa za stroj BVP-60a 1) IF vsebnost_C ≤ 1% AND toplotna_obdelava = žarjenje THEN brus = ZeloMehak, GroboZrnat, MočnoPorozen 2) IF vsebnost_C ≤ 1% AND toplotna_obdelava = kaljenje1 OR kaljenje2 THEN brus = Mehak, GroboZrnat, MočnoPorozen 3) IF vsebnost_C > 1% THEN brus = SrednjeTrd, SrednjeZrnat, SrednjaStruktura Slika 10: Pravila za izbiro brusa za stroj BVP-60a Pomemben rezultat opravljene analize je bila ugotovitev, da so nedoslednosti v tehnološki bazi podatkov, ki se jih proizvajalec sicer zaveda, zelo kritične s stališča klasifikacijske točnosti. Obstoječe predpise je zato nujno poenotiti. Pri tem sintetizirani odločitveni postopek lahko pomaga z odkrivanjem nekonsistentnosti in s predlogi za njihovo odpravo. 6. Zaključek Analiza podatkov z metodami strojnega učenja oz. odkrivanje novih, potencialno koristnih informacij v podatkovnih bazah postaja zaradi naraščajoče količine računalniško shranjenih podatkov vse bolj aktualna metodologija. Naloge, ki jih obravnava, t.j. modeliranje, klasifikacija, napovedovanje ipd., je moč reševati tudi z drugimi, npr. statističnimi metodami, vendar nova metodologija daje preglednejše rezultate, ki so prikladnejši za interpretacijo in pojasnjevanje, upošteva pa tudi neugodne lastnosti podatkovnih množic, s katerimi se srečujemo v praksi, npr. šumnost podatkov, manjkajoče vrednosti, obsežnost baz podatkov ali njihovo porazdeljenost. 14 Na nekaj primerih odločitvenih problemov iz proizvodnih procesov smo pokazali, kako je moč novo metodologijo uporabiti za avtomatsko sintezo odločitvenih postopkov iz primerov. Videli smo, da rezultati omogočijo nov vpogled v problemsko področje in lahko znantno olajšajo delo odločevalcu, lahko pa tudi pokažejo nedoslednosti v obravnavanih podatkih. Seveda pa je to metodologijo treba vrednotiti kritično. Zavedati se je treba, da lahko z njo dobimo smiselne rezultate le pri pogoju, da je nabor podanih učnih primerov reprezentativen za obravnavani problem. Rezultate je prav tako potrebno obravnavati kot enega od možnih virov informacij, ki so uporabniku v pomoč pri odločanju, končna odgovornost za odločitve pa še naprej ostaja na njegovi strani. Literatura Bratko, I. (1993). Applications of machine learning: Towards knowledge synthesis, New Generation Computing, Vol. 11, No. 3, pp. 343–360. Cestnik, B., Kononenko, I., Bratko, I. (1987). Assitant-86: A knowledge elicitation tool for sophisticated users. In: Bratko, I., Lavrač, N. (Eds.), Progress in Machine Learning, Sigma Press, Wilmslow, UK, pp. 31–45. Filipič, B., Junkar, M. (1994). Od tehnološke baze podatkov do odločitvenega postopka za izbiro orodja v industrijskem obdelovalnem procesu. V Solina, F., Zajc, B., (ur.), Zbornik tretje Elektrotehniške in računalniške konference ERK '94 (Portorož, 1994), Slovenska sekcija IEEE, Ljubljana, zvezek B, str. 163–166. Filipič, B., Junkar, M. (2000). Using inductive machine learning to support decision making in machining processes, Computers in Industry, Vol. 43, No. 1, pp. 31– 41. Karba, N. (1994). Postopki integracije baz znanja ekspertnih sistemov po principu mnogoterega znanja, Doktorska disertacija, Univerza v Mariboru, Fakulteta za organizacijske vede, Kranj. Quinlan, J. R. (1979). Discovering rules by induction from large collections of examples. In: Michie, D. (Ed.), Expert Systems in the Microelectronic Age, Edinburgh University Press, pp. 168–201. Qinlan, J. R. (1986). Induction of decision trees, Machine Learning, Vol. 1, No. 1, pp. 81– 106. Quinlan, J. R. (1993). C4.5: Programs for Machine Learning, Morgan Kaufmann, San Francisco. Mitchell, T. M. (1997). Machine Learning, McGraw Hill, New York. Witten, I. H., Frank, E. (2000). Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations, Morgan Kaufmann, San Francisco. 15