Essays on using Formal Concept Analysis in Information Engineering

Transcription

1 FACULTEIT ECONOMIE EN BEDRIJFSWETENSCHAPPEN KATHOLIEKE UNIVERSITEIT LEUVEN Essays on using Formal Concept Analysis in Information Engineering Proefschrift voorgedragen tot het behalen van de graad van Doctor in de Toegepaste Economische Wetenschappen door Jonas POELMANS Nummer

2 Committee Supervisor Prof. Dr. Guido Dedene K.U.Leuven Supervisor Prof. Dr. Stijn Viaene K.U.Leuven Supervisor Prof. Dr. Monique Snoeck K.U.Leuven Prof. Dr. Henrik Scharfe Prof. Dr. Ir. Rik Maes Prof. Dr. Aimé Heene Aalborg University Universiteit van Amsterdam Universiteit Gent Daar de proefschriften in de reeks van de Faculteit Economische en Toegepaste Economische Wetenschappen het persoonlijk werk zijn van hun auteurs, zijn alleen deze laatsten daarvoor verantwoordelijk

3

4 Acknowledgements First and foremost I wish to express special thanks to my supervisor Guido Dedene. His guidance during my doctoral trajectory and numerous research ideas were of great value and helped me achieve this end result. I also want to express special thanks to Stijn Viaene for carefully reading and giving feedback on every text I wrote. Our numerous discussions helped me in staying enthusiast on doing research and improving my work. I also want to thank Monique Snoeck for her help with the software engineering part of my thesis and for helping me with Microsoft Word every time I got stuck again. I am very grateful to Paul Elzinga from the Amsterdam-Amstelland police for our close cooperation on the domestic violence, human trafficking and terrorism data. Our discussions always resulted in interesting research avenues and we made many interesting discoveries that will hopefully be beneficial to police officers working in the field. I would like to thank the police of Amsterdam-Amstelland for granting us the liberty to conduct and publish this research. In particular, we are most grateful to Deputy Police Chief Reinder Doeleman and Police Chief Hans Schönfeld for their continued support. I also want to thank my mother Gerda for our research work on breast cancer treatment and for her overall support during the course of my PhD. I want to thank the Gasthuiszusters Antwerpen and in particular Herman Van der Mussele for giving me access to their medical data. I would like to thank Edward Peters for our cooperation on the medical data analysis. I also want to thank Marc Van Hulle for his insights and help with the self organizing maps. I also want to thank my doctoral committee members Rik Maes, Aime Heene and Henrik Scharfe for their feedback on my final text. I would also like to thank my colleagues for the stimulating work environment. In particular, I would like to thank Karel for his help with Matlab programming, Raf for the many snooker evenings filled with fruit beers, Tom for always wishing me a good morning in the early afternoon, Geert and Pieter for the enjoyable talks in the evenings after work, David and Filip for their always funny jokes, Willem for the many enjoyable breaks during long working days, Wouter for his valuable advice on data mining, and finally Jochen and Helen for the pleasant talks during lunch breaks. Special thanks go to Vicky Verhaert for helping me prepare the final version

5 of my thesis. I would like to thank our secretary Nicole Meesters for the numerous times she helped me arranging my conference travels. I also want to thank my sister, father and my friends for supporting me during the course of my PhD. Finally I want to thank the Fonds Voor Wetenschappelijk Onderzoek Vlaanderen for funding this research. This PhD was written as part of my aspirant of FWO research mandate. Jonas, Leuven, July 2010

6 Contents ACKNOWLEDGEMENTS... III CONTENTS...V SAMENVATTING... XIII CHAPTER 1... XXI INTRODUCTION... XXI CHAPTER FORMAL CONCEPT ANALYSIS IN INFORMATION ENGINEERING: A SURVEY Introduction Formal Concept Analysis FCA essentials FCA software Web portal Dataset Studying the literature using FCA Knowledge discovery and data mining Some FCA mining applications Association rule mining Software mining Web mining Extending FCA for data mining FCA mining applications in biology and medicine FCA in relation to other machine learning techniques 38 Fuzzy FCA in KDD... 39

7 Information retrieval Knowledge representation and browsing with FCA Knowledge browsing systems based on FCA Query result improvement with FCA Defining and processing complex queries with FCA Domain knowledge incorporation in query search results: contextual answers & ranking Fuzzy FCA in IR Scalability Iceberg lattices Reducing the size of concept lattices Handling complex data FCA algorithm scalability Ontologies Ontology construction Ontology quality management Linguistic applications using FCA and ontologies Ontology mapping and merging Fuzzy and rough FCA in ontology construction and mapping Extensions and related disciplines of FCA theory Fuzzy FCA Applications of fuzzy FCA Fuzzy concept lattice reduction Parameterized approaches for fuzzy concept lattices Multi-adjoint and generalized concept lattices Variations to traditional fuzzy FCA Fuzzy attribute logic, implications and inference Rough set theory Combining FCA with rough set theory Generalizations of rough set theory Attribute reduction Fuzzy FCA and rough set theory... 67

8 Monotone concept and AFS algebra Triadic FCA Temporal FCA Mathematical research and algorithmic innovations Conclusions CHAPTER CURBING DOMESTIC VIOLENCE: INSTANTIATING C-K THEORY WITH FORMAL CONCEPT ANALYSIS AND EMERGENT SELF ORGANIZING MAPS Introduction Intelligence Led Policing Domestic violence Motivation FCA, ESOM and C-K theory Formal Concept Analysis Emergent Self Organizing Map Emergent SOM ESOM parameter settings C-K theory Instantiating C-K theory with FCA and ESOM Dataset Data preprocessing and feature selection Initial classification performance Iterative knowledge discovery with FCA and ESOM Transforming existing knowledge into concepts Expanding the space of concepts Transforming concepts into knowledge Expanding the space of knowledge Actionable results Comparative study of ESOM and multi-dimensional scaling Conclusions CHAPTER

9 EXPRESSING OBJECT-ORIENTED CONCEPTUAL DOMAIN MODELS IN FORMAL CONCEPTS ANALYSIS Using Formal Concept Analysis for verification of process data matrices in conceptual domain models Introduction Research Question FCA essentials MERODE essentials FCA and the object-event matrices Object-event table with empty row column Propagation rule and subconcept-superconcept relation 135 FCA and the contract rule Verification process Conclusions Extending Formal concept Analysis with a second ordering relationship on concepts: a software engineering case study Introduction Expressing UML associations with an FCA lattice Expressing inheritance relationships with an FCA lattice 144 Merging the existence dependency and inheritance lattices 146 Properties of extended lattice Applications Accumulation rule Conclusions An Iterative Requirements Engineering Framework based on Formal Concept Analysis and C-K theory matrix Requirements engineering artifacts Use cases, conceptual domain model and quality UML class model normalization UML associations and the use case-entity interaction 165 C-K theory Iterative requirements engineering process using FCA

10 C-K theory in requirements engineering FCA lattice properties and relation with software artifacts Case study: Book Trader System Case study: Hotel Administration System Case Study: Ordering system Case study: Elevator repair system Validation experiment Participants Setup of experiment Results of experiment FCA in requirements engineering Conclusions CHAPTER FORMAL CONCEPT ANALYSIS OF TEMPORAL DATA Detecting and profiling human trafficking suspects with Temporal Concept Analysis Backgrounder Human trafficking Current situation Dataset Human trafficking indicators Temporal Concept Analysis FCA essentials TCA essentials Detecting and profiling human traffickers Detecting suspects with FCA Profiling suspects with TCA Network evolution analysis using TCA Conclusions Terrorist threat assessment with Temporal Concept Analysis Introduction Backgrounder

11 Home-grown terrorism The four phase model of radicalism Current situation Dataset Formal Concept Analysis Temporal Concept Analysis Research method Extracting potential jihadists with FCA Constructing Jihadism phases with FCA Build detailed TCA lattice profiles for subjects Conclusions Combining business process and data discovery techniques for analyzing and improving integrated care pathways Introduction Business process discovery Hidden Markov Models HMM-based process discovery Data discovery with Formal Concept Analysis Dataset Analysis and results Quality of care analysis Process variations Workforce intelligence Data entrance quality issues Discussion and conclusions CHAPTER CONCLUSION Thesis conclusion Future work APPENDIX A LITERATURE SURVEY THESAURUS APPENDIX B DOMESTIC VIOLENCE THESAURUS

12 APPENDIX C DOMESTIC VIOLENCE REVIEW REPORTS LIST OF FIGURES BIBLIOGRAPHY

13

14 Samenvatting Formele Concept Analyse (FCA) is een vrij nieuwe wiskundige techniek (Ganter 1999), die initieel gebruikt is voor de structurering van cluster analyses. De essentie van de techniek bestaat uit een reeks algoritmes om een associatie-matrix van entiteiten en attributen om te zetten naar een roosterstructuur ( lattice ) van concepten, die (groepen van) entiteiten voorstellen met gelijkaardige attributen, en omgekeerd. Belangrijk hierbij is dat een roosterstructuur een niet-hiërarchische, a-cyclische partiële orderelatie vormt tussen de concepten. In de eerste onderzoekslijn is een nieuwe originele toepassing van FCA ontwikkeld, waarbij FCA gebruikt wordt als een techniek om binnen grootschalige ongestructureerde gegevensbronnen concepten en patronen te herkennen. Er bestaat een grote verscheidenheid aan data mining technieken, vooral voor gestructureerde gegevens. Voor ongestructureerde gegevens zijn er niet alleen minder technieken beschikbaar, maar zijn er ook weinig methoden om de resultaten van de data mining analyse te interpreteren, en te valideren. In het kader van een leerstoel met de Politie Amsterdam- Amstelland is aangetoond dat FCA hier een bijzondere bijdrage kan leveren. In een proof-of-concept is een analyse doorgevoerd van politieverslagen rond huishoudelijk geweld, teneinde te komen tot preventieve indicatoren rond huiselijk geweld binnen gezinnen. FCA is toegepast op reële gegevensverzamelingen, waarbij de roosterstructuur met concepten een duidelijke aanwijzing geeft van de relevante indicatoren voor huiselijk geweld. Meer nog, hiaten in de roosterstructuur openen de vraag naar bijkomende informatie-attributen in de politieverslagen, zodat de agenten, die de basisgegevens verzorgen door hun observatie, bijkomende aandachtpunten krijgen voor hun verslagen. De toepassing van FCA heeft in de eerste plaats geleid tot een verbeterde definitie van het concept van huiselijk geweld. Uit het concept rooster dat voorvloeit uit FCA kunnen immers regels worden afgeleid, met de kansen dat de regel van toepassing is. Dit laat toe om zowel kennisgaten in de definitie te ontdekken, maar ook relevante uitzonderingen. Een belangrijke aandachtsfactor is de combinatorische explosie van het FCA algoritme bij grotere aantallen attributen, waarvoor in eerste instantie gewerkt is met clustering van die attributen, die op basis van de probabiliteiten een sterke vorm van samenhang vertonen. Om een fijnmazige analyse te doen van de

15 SAMENVATTING XIV uitzonderingen is FCA vervolgens uitgebreid en gecombineerd met een emergente (bottum-up) techniek gebaseerd op neurale netwerken Emergent Self Organising Maps. Uit de studies rond huiselijk geweld kwam duidelijk naar voor hoe beide technieken elkaar versterken, en leiden tot vrij sterke karakterisatietechnieken, waarbij tot 90% of meer van de gevallen van huiselijk geweld automatisch ontdekt kunnen worden. Het onderzoek heeft geleid tot een significante verbetering van de aanpak van huiselijk geweld. De Politie heeft in dit geval gezorgd voor een uitstekende basisverzameling van (geanonimiseerde) attributen (kenmerken) bij politieverslagen. De tweede onderzoekslijn, die mee ontwikkeld werd in de gevallenstudie van huiselijk geweld, positioneert FCA als een kennisvernieuwingstechniek. In de literatuur zijn niet zoveel technieken bekend voor de concrete ontwikkeling van innovatieve ideeën. De vroege publicaties over artificiële intelligentie wezen reeds op het belang van de symbolisatie en conceptualisatie van de aanwezige kennis, op een dermate wijze dat mogelijke kennisgaten naar voor komen in de conceptualisatie. Een belangrijke systematisering van kennisvernieuwing is vanuit de design science benadering in de voorbije jaren ontwikkeld in de C-K-theory (Concept-Knowledge-Theory). Daarbij werd echter tot nu toe gebruik gemaakt van hiërarchisch geordende conceptbomen voor de conceptualisatie van bestaande kennis. In deze onderzoekslijn is voor de eerste maal aangetoond hoe FCA binnen de C-K-theory kan gebruikt worden als een techniek voor de disjunctie van bestaande kennis in niet-hiërarchische (partieel geordende) conceptroosters. Bovendien zijn de praktijkervaringen rond de gevallenstudie van huiselijk geweld gepositioneerd als leerprocessen binnen de C-K-theory, met een belangrijke bijdrage voor de conjunctie van nieuwe concepten in kennisvernieuwing. In een derde onderzoekslijn is onderzocht hoe het gebruik van FCA uitgebreid en verfijnd kan worden voor gegevensbronnen met een inherente tijdsdimensie. In de literatuur is een temporele variant van FCA, Temporal Concept Analysis, bekend. Deze techniek is uitgediept in combinatie met FCA voor een gevallenstudie van politie rapporten voor de detectie en opsporing van mogelijke verdachten in de context van mensenhandel. Er is ondermeer vastgesteld hoe de FCA-roosters kunnen gebruikt worden als een voorstelling voor de verschillende mogelijkheden waaronder een verdachte kan evolueren, waarbij eveneens de probabiliteiten van de kenmerken een belangrijke rol spelen. Dit leidt tot een pro-actieve vroege opsporing met een hogere vaststellingsgraad, hetgeen verder is uitgewerkt in een breedschalig raamwerk voor de opsporing van potentiële terreurverdachten, dat vervolgens nu van de nodige software instrumenten wordt voorzien. Tijdens de uitwerking van de derde onderzoekslijn zijn beperkingen naar voor gekomen in de tijdsgerichte voorstelling van concepten, zeker waar het gaat om de structurele voorstelling van de evolutie van concepten in processen (op basis van sequentie, selectie en iteratie). In eerste instantie is daarom in een vierde onderzoekslijn FCA toegepast met events

16 XV SAMENVATTING (gebeurtenissen) in plaats van gegevensattributen. Hierbij worden niet zozeer de conceptroosters gebruikt voor de voorstelling van processen, maar wel Hidden Markov Modellen (HMM). FCA wordt dan wel gebruikt om de relevante (deel)verzamelingen van gebeurtenissen te filteren, vooral in de context van grootschalige gegevensbronnen. FCA helpt ook bij het in kaart brengen van eigenschappen van proces variaties en anomalieën, zoals kwaliteitsproblemen in de zorg verstrekt aan patiënten. Als gevallenstudie is voor deze onderzoekslijn een verzameling van behandelingsgegevens gebruikt conform aan Healthcare Level 7 binnen de context van zorgprocessen voor borstkanker in een daartoe gespecialiseerd ziekenhuis. 470 behandelingsstappen zijn samengebracht tot 65 relevante stappen, die resulteren in een belangrijke vereenvoudiging van het ontdekken van de zorgprocessen vanuit de behandelingsgegevens. De eerste resultaten van deze onderzoekslijn hebben tevens geresulteerd in incrementele verbeteringen in de behandelingsprocessen. Uit de gevallenstudie bleek tevens een belangrijke synergie tussen de ontdekking van data-aspecten versus proces-aspecten. De vijfde onderzoekslijn heeft de mogelijkheden van FCA in verband met event-gebaseerde modellen verder gesystematiseerd in de context van domein modellering binnen software engineering. Daarbij is ondermeer aangetoond hoe de Object-Event tabel binnen de MERODE-methodologie voor software engineering, zich automatisch via FCA laat vertalen is een objectrooster dat isomorf is met de Existence Dependency Graph uit de MERODE-methodologie. FCA voegt algoritme toe aan de MERODE consistentie controle. Het gebruik van meer-waarde-tabellen laat toe om alle consistentieregels rond klassendiagrammen in UML formeel wiskundig uit te drukken. Bovendien kunnen de algoritmes van FCA gebruikt worden om inconsistenties en onvolledigheden in de modellen op te sporen. Hiermee is eigenlijk voor de eerste keer aangetoond dat conceptuele modellen ook effectief het begrip concept in de wiskundige zin van het woord hanteren. Vervolgens werd een driedimensionale variant van FCA verder onderzocht op zijn toepasbaarheid voor het combineren van bestaansafhankelijkheid met generalisatie/specialisatie. Tevens wordt onderzocht hoe FCA probabilistische informatie kan toevoegen aan de cardinaliteiten binnen klassendiagrammen in UML. Tenslotte is in een zesde onderzoekslijn alle relevante literatuur rond FCA in kaart gebracht door middel van FCA. De concepten op basis van FCA zijn geïnventariseerd in een literatuur overzicht, dat een relevant beeld en inzicht geeft in de ongeveer 700 papers rond FCA die verschenen zijn in de periode Deze benadering toont eveneens aan hoe FCA als een meta-techniek kan aangewend worden.

17 SAMENVATTING XVI Het geleverde onderzoekswerk werd gepubliceerd in de volgende artikels: JOURNAL PAPERS GEPUBLICEERD/AANVAARD: 1. Poelmans, J., Elzinga, P., Viaene, S., Van Hulle, M. & Dedene G. (2009). Gaining insight in domestic violence with emergent self organizing maps, Expert systems with applications, 36, (9), [SCI 2009 = 2.908] 2. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010) Formally Analyzing the Concepts of Domestic Violence, Expert Systems with Applications, In Press, doi /j.eswa Vuylsteke A., Baesens B., Poelmans J. (2010). Consumers search for information on the internet: how and why China differs from Western Europe, Journal of interactive marketing, In Press, doi /j.intmar Poelmans, J., Elzinga, P., Viaene, S., Dedene, G., Van Hulle, M. (2009). Analyzing domestic violence with topographic maps: a comparative study, Lecture Notes in Computer Science, 5629, , Advances in Self-organizing Maps, 7th International Workshop on Self- Organizing Maps (WSOM). St. Augustine, Florida (USA), 8-10 June 2009, Springer. 5. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2009). A case of using formal concept analysis in combination with emergent self organizing maps for detecting domestic violence, Lecture Notes in Computer Science, 5633, , Advances in Data Mining. Applications and Theoretical Aspects, 9th Industrial Conference (ICDM), Leipzig, Germany, July 20-22, 2009, Springer. 6. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2008). An exploration into the power of formal concept analysis for domestic violence analysis, Lecture Notes in Computer Science, 5077, , Advances in Data Mining. Applications and Theoretical Aspects, 8th Industrial Conference (ICDM), Leipzig, Germany, July 16-18, 2008, Springer. 7. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010), Formal Concept Analysis in Knowledge Discovery: a Survey. Lecture Notes in Computer Science, 6208, , 18 th international conference on conceptual structures (ICCS): from information to intelligence July, Kuching, Sarawak, Malaysia. Springer.

18 XVII SAMENVATTING 8. Manyakov, N., Poelmans, J., Vogels, R., Van Hulle, M. (2010), Combining ESOMs trained on hierarchy of feature subsets for singletrial decoding of LFP responses in monkey area V4. Lecture Notes in Artificial Intelligence, 6114, , 10th International Conference on Artificial Intelligence and Soft Computing (ICAISC). June 13-17, Zakopane, Poland. Springer 9. Poelmans, J., Dedene, G., Verheyden, G., Van der Mussele, H., Viaene, S., Peters, E. (2010). Combining business process and data discovery techniques for analyzing and improving integrated care pathways. Lecture Notes in Computer Science, Advances in Data Mining. Applications and Theoretical Aspects, 10th Industrial Conference (ICDM), Leipzig, Germany, July 12-14, Springer CONFERENCE PROCEEDINGS GEPUBLICEERD/AANVAARD: 1. Poelmans, J., Dedene, G., Snoeck, M. Viaene, S. (2010). Using Formal Concept Analysis for the Verification of Process-Data matrices in Conceptual Domain Models, Proc. IASTED International Conference on Software Engineering (SE 2010), Feb 16-18, Innsbruck, Austria. Acta Press, pp.. 2. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010). A method based on Temporal Concept Analysis for detecting and profiling human trafficking suspects. Proc. IASTED International Conference on Artificial Intelligence (AIA 2010). Innsbruck, Austria, february. Acta Press ISBN , pp Elzinga, P., Poelmans, J., Viaene, S., Dedene, G. (2009), Detecting domestic violence Showcasing a Knowledge Browser based on Formal Concept Analysis and Emergent Self Organizing Maps, Proc. 11th International Conference on Enterprise Information Systems ICEIS, Volume AIDSS, pp , Milan, Italy, May 6-10, Poelmans, J, Elzinga, P., Van Hulle, M., Viaene, S., and Dedene, G. (2009). How Emergent Self Organizing Maps can help counter domestic violence, World Congress on Computer Science and Information Engineering (CSIE 2009), Los Angeles (USA), Vol. 4, IEEE Computer Society Press ISBN , Vuylsteke, A., Wen, Z., Baesens, B. and Poelmans J. (2009). Consumers Online Information Search: A Cross-Cultural Study between China and Western Europe. Paper presented at Academic And

19 SAMENVATTING XVIII Business Research Institute Conference 2009, Orlando, USA, available at 6. Elzinga, P., Poelmans, J., Viaene, S., Dedene, G., Morsing, S. (2010) Terrorist threat assessment with Formal Concept Analysis. Proc. IEEE International Conference on Intelligence and Security Informatics. May 23-26, 2010 Vancouver, Canada. ISBN /10, Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010). Concept Discovery Innovations in Law Enforcement: a Perspective, IEEE Computational Intelligence in Networks and Systems Workshop (INCos 2010), Thesalloniki, Greece. 8. Dejaeger, K., Hamers, B., Poelmans, J., Baesens, B. (2010) A novel approach to the evaluation and improvement of data quality in the financial sector, 15 th International Conference on Information Quality (ICIQ 2010) UALR, Little Rock, Arkansas USA, November Poelmans, J., Dedene, G., Verheyden, G., Peters, E., Van Der Mussele, H., Viaene, S. (2010) Concept mining and discovery in clinical pathways, INFORMS Data mining and health informatics (DM-HI) Workshop, Austin, Texas, November JOURNAL PAPERS INGEDIEND: 1. Verheyden, G., Poelmans, J., Viaene, S., Van der Mussele, H., Dedene, G., van Dam, P. (2010). Key Success Factors for significantly improving Patient Satisfaction on Breast Cancer care: a Case Study, submitted for The Breast 2. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010) Curbing domestic violence: Instantiating C-K theory with Formal Concept Analysis and Emergent Self Organizing Maps, submitted for Intelligent Systems in Accounting, Finance and Management. 3. Poelmans, J., Elzinga, P., Viaene, S., Van Hulle, M. & Dedene G. (2010) Text Mining with Emergent Self Organizing Maps and Multi- Dimensional Scaling: A comparitive study on domestic violence, submitted for Applied Soft Computing. 4. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010) Formal Concept Analysis in Information Engineering: a Survey, submitted for ACM Computing Surveys.

20 XIX SAMENVATTING 5. Poelmans, J., Elzinga, P., Viaene, S., Dedene, G. (2010) Informatiegestuurd politiewerk: een slimme en nieuwe kijk op de data, submitted for Informatie. 6. Elzinga, P., Poelmans, J., Viaene, S., Dedene, G. (2010) Formele concept analyse: een nieuwe dimensie voor intelligence, submitted for Blauw. BOOK CHAPTER: 1. Poelmans J, Van Hulle M, Elzinga P, Viaene S, Dedene G (2008) Topographic maps for domestic violence analysis. Self-organizing maps and the related tools, pp NEDERLANDSTALIGE PUBLICATIES: 1. Vuylsteke A., Poelmans J., Baesens B. (2009) Online zoekgedrag van consumenten: China vs West-Europa, Business In-Zicht, December, Dejaeger K., Ruelens J., Van Gestel T., Jacobs J., Baesens B., Poelmans J., Hamers B. (2009) Evaluatie en verbetering van de datakwaliteit. Informatie, November, Jaargang 51/9, AWARDS: Nominated for best paper award at 8 th Industrial Conference on Data Mining (ICDM), Leipzig, Germany, July 16-18, 2008 Winner of young professionals best paper award at 9th Industrial Conference on Data Mining (ICDM), Leipzig, Germany, July 20-22, 2009 Winner of best paper award at 10 th Industrial Conference on Data Mining (ICDM), Berlin, Germany, July 12-14, 2010

21

22 CHAPTER 1 Introduction Formal Concept Analysis was originally introduced as a mathematical theory by Rudolf Wille in Between the beginning of 2003 and the end of 2009, over 700 papers have been published in which FCA was used by the authors. We performed a semantic text mining analysis of these papers. We downloaded these 702 pdf-files and built a thesaurus containing terms related to FCA research. We used Lucene to index the abstract, title and keywords of these papers with this thesaurus. After clustering the terms, we obtained several lattices summarizing the most notorious FCA-related research topics. While exploring the literature, we found FCA to be an interesting metatechnique for clustering and categorizing papers in different research topics. Over the years FCA has found its way from mathematics to computer science, resulting in numerous applications in knowledge discovery (20% of papers), information retrieval (15% of papers), ontology engineering (13 % of papers) and software engineering (15% of papers). 18 % of the papers described extensions of traditional FCA such as fuzzy FCA and rough FCA. In this thesis we filled in some of the gaps in the existing literature (Poelmans et al. 2010g). During the past 20 years, the amount of unstructured data available for analysis has been ever-increasing. Today, 90% of the information available to police organizations resides in textual form. We investigated the possibilities of FCA as a human-centered instrument for distilling new knowledge from these data. FCA was found to be particularly useful for exploring and refining the underlying concepts of the data. To cope with scalability issues, we combined its use with Emergent Self Organising Maps. This neural network technique helped us gain insight in the overall distribution of the data and the combination with FCA was found to have significant synergistic results. The knowledge extraction process was framed in the C-K design theory. At the basis of the method are multiple successive iterations through the design square consisting of a concept and knowledge space. The knowledge space consists of the information used to steer the

23 INTRODUCTION XXII action environment, while this information is put under scrutiny in the concept space. The first real life case study zoomed in on the problem of domestic violence at the Amsterdam-Amstelland police. We exposed multiple anomalies and inconsistencies in the data and were able to improve the employed definition of domestic violence. An important spin-off of this KDD exercise was the development of a highly accurate and comprehensible rulebased case labelling system. This system is currently used to automatically assign a label to 75% of incoming cases whereas in the past all cases had to be dealt with manually. Besides analysing data containing relations between objects and attributes, we analysed data containing objects and events. The binary relation of FCA changes its meaning from object o has attribute a to object o participates in event a. We studied FCA in relation to the software engineering methodology MERODE. We found that the lattice, automatically obtained from the Object-Event Table, is isomorphic to the Existence Dependency Graph (EDG) in MERODE. We also expanded traditional FCA theory with a third dimension. Traditional FCA only imposes one ordering relation on concepts, namely the subconcept-superconcept relation, whereas for the representation of models containing both ED and inheritance relationships, an extra ordering relationship or dimension is needed. Finally, we framed the requirements engineering process based on FCA in C-K theory. All steps in this process, namely elaboration, verification, modification and validation of the model, can be considered as the four operators of the design square. A case study with 20 students confirmed the method's practical usefulness. For the analysis of other phenomena such as human trafficking and terrorism threat, a complicating factor is the inherent time dimension in the data. We applied the temporal variant of FCA, namely Temporal Concept Analysis (TCA), to the unstructured text in a large set of police reports. The aim was to distill potential subjects for further investigation. In both case studies, TCA was found to give interesting insights into the evolution of subjects over time. Amongst other things, several (to the police unknown) persons involved in human trafficking or the recruitment of future potential jihadists were distilled from the data. The intuitive visual interface allowed for an effective interaction between the police officer who used to be numbed by the overload of information, and the data. In a subsequent step, we combined data discovery based on FCA with process discovery using Hidden Markov Models (HMM). This combination was used to gain insight into a breast cancer care process by analyzing patient treatment data. Multiple quality of care issues were exposed that will be resolved in the near future