MEASURING THE IMPACT OF INFORMATION TECHNOLOGY SYSTEMS ON POLICE PRACTICES

Transcription

1 DELFT UNIVERSITY OF TECHNOLOGY MASTER THESIS SYSTEM ENGINEERING, POLICY ANALYSIS AND MANAGEMENT MEASURING THE IMPACT OF INFORMATION TECHNOLOGY SYSTEMS ON POLICE PRACTICES IN THE DUTCH POLICE FORCE DEVELOPING A MEASUREMENT TOOL FROM A SYSTEMS THINKING PERSPECTIVE Author: Davy Osamulia Student ID: Graduation Committee: Prof. dr. ir. Alexander Verbraeck Dr. ir. Mariëlle den Hengst Dr. ir. Mark de Reuver External supervisor: Drs. ing. Ruud Hoefnagel October 31 th, 2014 Measuring the impact of information technology systems on police practices 1

2 2 Measuring the impact of information technology systems on police practices

3 PREFACE & ACKNOWLEDGEMENTS This master thesis is the final part of a two- year Master s Programme in Systems Engineering, Policy Analysis and Management. This thesis presents the results of the research project I conducted at the Dutch Police force. This master thesis also marks the end of my study period. During this period I gained interest in the complex, synergistic relationship that technology and society has. Being able to spend my master thesis on such a topic at the Dutch police force has therefore been a great opportunity. At the police force I was able to learn and experience about many aspects involved with technological change at such a complex organization. Having had this opportunity, I sincerely hope that the results of this research will have a contribution or at least inspire those concerned towards better understanding and mapping of technological impact. The results of this study could not have been achieved without the support of many people. Therefore, I gratefully acknowledge the graduation committee. I would like to thank Mark de Reuver for his time and effort as a second supervisor and Alexander Verbrack for his flexibility standing in for Ms. Brezier as a first professor. I would like to thank Marielle den Hengst for introducing me to this topic, and also for establishing contacts with Ruud Hoefnagel. Marielle den Hengst has always been enormously helpful as a first supervisor. She always had time to discuss and brainstorm about struggles that I had, especially during the beginning when formulating the research topic. I am equally as thankful for Ruud Hoefnagel, my practical supervisor. Ruud Hoefnagel was always enthusiastic and available for help, even in his spare time. His abundance of knowledge and expertise as a member of the police organization and as a researcher has also helped me tremendously. I would also like to thank all the operative colleagues that helped me conduct interviews and card sorting sessions. It was amazing to witness how people from the police force were always willing to help. From administrative workers all the way to high commanding chiefs, they always managed to reserve some time for me. I am especially thankful for the regions Den Haag and Rotterdam who have gone out of bounds (figuratively) in helping me. Thank you BETEX (Den Haag) for letting me follow you guys around. Thank you Rotterdam for showing me how you guys get things done. I would like to thank Marijn de klein, my fellow intern buddy with whom I had many interesting brainstorms and discussions about our research experiences and future paths. Last but certainly not least; I would like to thank my parents and girlfriend for the support they gave me. Measuring the impact of information technology systems on police practices 3

4 4 Measuring the impact of information technology systems on police practices

5 Aanleiding EXECUTIVE SUMMARY (NL) Uit een rapport van de algemene rekenkamer gepubliceerd op 23 juni 2011 is gebleken dat IT voorzieningen van de politie het politiewerk onvoldoende ondersteunen. Naar aanleiding van dit rapport is er binnen de politie het aanvalsplan informatievoorzieningen (AVP) opgezet. De AVP moet door middel van een investering van 365 miljoen euro aan modernisering van huidige IT voorzieningen zorgen voor verbeteringen in de mate waarin de IT voorzieningen het politiewerk ondersteunen. Om de voortgang van deze verbeteringen te monitoren is daarvoor de belevingsmonitor in het leven geroepen. Voor de opzet van de belevingsmonitor is gekozen om indicatoren op te nemen gebaseerd op een technologie acceptatie model genaamd UTAUT. In hoeverre het huidige ontwerp van de belevingsmonitor voldoende inzicht biedt in hoe politiewerk verbeterd wordt door IT, is een vraag die leidend is in de uitvoering van dit onderzoek. Methodologie Voor er aanbevelingen naar de belevingsmonitor gemaakt kunnen worden is het van belang om te weten wat technologisch impact op politie werk eigenlijk is. Politiewerk, in tegenstelling tot productiewerk, is complex en niet te reductioneren tot een aantal elementen die een lineair proces belopen. Bovendien is de impact die informatie technologie op politiewerk heeft ook niet te isoleren tot een aantal selectieve elementen, informatie technologie heeft impact op het geheel. Door de complexiteit van wat technologisch impact op politiewerk is, hecht dit onderzoek belang bij om technologisch impact op politiewerk in zijn geheel te kunnen zien. De focus op een holistisch system thinking aanpak was daarmee ook leidend in dit onderzoek. Met het system thinking aanpak werd getracht om het gehele politiewerk systeem dat beïnvloedt wordt door informatie technologie zo compleet mogelijk in kaart te brengen. Dit werd gedaan door een zogenaamd mental map te maken van het systeem, dat een visualisatie betreft van de concepten waaruit het systeem bestaat en de relaties ertussen. Door eerst een mental map van het systeem als een geheel te zien, kan van daaruit verder de meest relevante indicatoren uit worden gekozen. Voor de constructie van de mental map van technologisch impact op politiewerk zijn er meeloopdagen en interviews gehouden met tien verschillende eindgebruikers die dichtbij het politiewerk zitten. Dit zijn niet alleen operatieve politieagenten, maar ook administratieve medewerkers en leidinggevende/coördinerende politieagenten. Op basis van deze interviews zijn er 42 relevante concepten geïdentificeerd die betrekking hebben tot technologisch impact en politiewerk. Voor de selectie van de meest relevante indicatoren voor meting zijn deze 42 concepten opnieuw voorgelegd bij een groter groep van 25 eindgebruikers waarbij gevraagd werd om deze 42 concepten te sorteren op basis van relatieve relevantie. De sorteersessies resulteerde in relevantiescores voor elk van de 42 concepten. Op basis van deze kwalitatieve en kwantitatieve empirische data maakt dit rapport aanbevelingen naar de belevingsmonitor over welke indicatoren meer of minder geschikt zijn voor opname in de belevingsmonitor, met inachtneming van het doel om inzicht te krijgen in de impact van technologie op politiewerk. Daarnaast wordt er in dit rapport ook aanbevelingen gemaakt hoe meting van deze indicatoren gerealiseerd kan worden in de belevingsmonitor. De aanbevelingen worden gemaakt vanuit een contingency approach,wat betekent dat er niet geen goede of foute manier van meten is. Vanuit deze contingency beredenering stelt dit onderzoek daarom niet een mogelijke verbetering, Measuring the impact of information technology systems on police practices 5

6 maar schetst het een aantal toekomstige meet scenario s voor om de eigenaar van de belevingsmonitor te assisteren in zijn overwegingen voor mogelijke aanpassingen. Resultaten Op basis van interviews zijn er in dit onderzoek maar liefst 42 onderwerpen geïdentificeerd die relevant zijn voor monitoring op het gebied van technologisch impact en politiewerk. Voor de executive summary worden de 15 belangrijkste indicatoren toegelicht. De 15 belangrijkste indicatoren komen voort uit de relevantiescores die gegeven zijn in de sorteersessies. Per indicator wordt een omschrijving gegeven wat de indicator is en een generieke omschrijving omtrent de motivatie voor de relevantie van desbetreffend indicator voor monitoring. 1. Uitvoer van accurate informatie. IT moet ervoor zorgen dat de informatie die eindgebruikers krijgen accuraat is en zonder fouten. Op dit moment bevat de informatie verkregen uit de huidige systemen nog teveel fouten waardoor dit onderwerp gerankt is als meest relevant. 2. Tijdsgebruik. Het gebruik van IT vergt op dit moment nog teveel tijd en moet in de toekomst zo min mogelijk de tijd van de eindgebruiker belasten. Met name voor operatieve politieagenten op het veld is minimale tijdsgebruik van IT voorzieningen cruciaal. 3. Uitvoer van complete informatie. Naast het feit dat informatie verkregen uit IT voorzieningen accuraat en zonder fouten moet zijn, is het ook van belang dat de verkregen informatie compleet is. In gevallen waar verkregen informatie correct en zonder fouten is, kan het ontbreken van informatie alsnog leiden tot onopgeloste zaken of gevaarlijke situaties voor agenten op straat. 4. Invoer van accurate informatie. Op dit moment werken huidige IT voorzieningen haast ontmoedigend in het ondersteunen van agenten bij het invoeren van accurate informatie. Toekomstige IT voorzieningen moeten ervoor zorgen dat eindgebruikers zoveel mogelijk ondersteund worden om de juiste informatie in te voeren. 5. Gebruiksgemak. IT voorzieningen zijn nog steeds niet gebruiksvriendelijk genoeg. Er zijn teveel handelingen nodig om gegevens op te vragen of in te voeren. Dit gaat uiteindelijk hand in hand gaat met tijdsgebruik. 6. Uitvoer van tijdige informatie. IT voorzieningen faciliteren onvoldoende in de tijdige uitvoer van informatie wanneer het nodig is. Vooral op straat is tijdige uitvoer van informatie cruciaal. Wanneer een agent een individu aanhoudt is het van belang dat een agent gelijk de juiste informatie voor handen heeft. 7. Administratief werk. Agenten ervaren dat IT implementaties gepaard gaat met meer administratieve lasten. IT moet ervoor zorgen dat de administratieve last van eindgebruikers, en voornamelijk van operatieve agenten verminderd worden waardoor agenten meer tijd op straat voor operatieve taken door kan brengen. 8. Kennis behoud. Door implementatie van IT worden vaak handmatige processen geautomatiseerd, wat vaak gepaard gaat met bezuiniging op administratief personeel. Het bezuinigen op administratief personeel heeft echter ook het gevolg dat daarmee het stukje specialistische kennis verdwijnt. Met oog op toekomstige IT is het van belang dat het stukje specialistische kennis behouden blijft of in ieder geval gecompenseerd wordt. 9. Communicatie. Met de implementatie van IT wordt de afstand tussen gebruikers groter en communicatie soms onpersoonlijker. Het is van belang dat toekomstige IT implementaties genoeg mogelijkheden biedt om communicatie tussen eindgebruikers te blijven ondersteunen en te waarborgen. 6 Measuring the impact of information technology systems on police practices

7 In het onderzoek is ook geconstateerd dat er significante verschillen waren tussen indicatoren die belangrijk geacht worden geacht door leidinggevende eindgebruikers en overige eindgebruikers. Die relevantste indicatoren voor leidinggevende met het grootste scoreverschil tussen leidinggevende en overige eindgebruikers zijn als volgt. Aanbevelingen Taakinnovatie. Leidinggevenden hechten waarde aan het feit dat IT hen niet in hun bewegingsvrijheid belemmeren en hen mogelijkheden bieden om bepaalde werkzaamheden uit te voeren op wellicht nieuwe alternatieve manieren die volgens hen beter geschikt zijn. Management en controle. Leidinggevende hechten waarde aan de mogelijkheden die IT voorzieningen bieden in het aansturen en controleren van hun team. Op dit moment zijn de mogelijkheden op dit gebied nihil en biedt IT onvoldoende ondersteuning in dit aspect. Acceptatie. Leidinggevende hechten waarde aan de mate waarin hun team nieuwe IT accepteren. Acceptatie van IT betekent dat teamleden uit zichzelf bereid zijn om IT te gebruiken, wat zou kunnen leiden tot minder noodzaak in controle en aansturen tot gebruik. Productiviteit. Leidinggevenden zijn direct verantwoordelijk voor productie. Leidinggevenden zullen daarom ook veel waarde hechten wanneer IT ervoor zorgt dat productiecijfers zoals opgespoorde individuen, betaalde boetes positief toenemen. Efficiency. Naast het behalen van productiecijfers is het ook van belang dat deze cijfers op een zo efficiënt mogelijke wijze gebeurt, met minimale belasting op personeel en andere schaarse middelen. Pro activiteit. Leidinggevende stellen het op prijs dat IT mogelijkheden biedt voor agenten om proactief te anticiperen op nieuwe informatie. Pro activiteit van teamleden betekent namelijk dat leidinggevenden minder exacte instructies hoeven te geven of om agenten telkens opnieuw op pad moeten sturen omdat zij bepaalde alternatieve oplossingen niet zelf hebben geprobeerd. Op basis van de inzichten in dit onderzoek, worden er vier meetscenarios geschetst met betrekking tot toekomstige continuering van de belevingsmonitor. De eerste meetscenario is het continueren van de belevingsmonitor in de huidige staat terwijl de andere drie meetscenarios per opvolgend meetscenario incrementeel meer aanbevelingen bevatten en dus meer aanpassingen aan de belevingsmonitor vergen. Per meetscenario wordt besproken wat de implicaties zijn voor besluitvorming is voor het kiezen van een bepaald meetscenario. Scenario 1: huidige staat van de belevingsmonitor De huidige opzet van de belevingsmonitor, bestaande uit 19 enquêtevragen gebaseerd op UTAUT die online gedistribueerd wordt over het gehele land, wordt voortgezet. Het voordeel hiervan is dat er geen additionele middelen en geld ingezet dienen te worden voor de uitvoering van de belevingsmonitor naast de middelen die nu al nodig zijn. Daarnaast is vergelijken van scores op indicatoren tussen nieuwe en oude uitgevoerde metingen met de belevingsmonitor daardoor nog steeds mogelijk aangezien de indicatoren gelijk blijven. Het continueren van de huidige staat van de belevingsmonitor heeft echter ook een belangrijk nadeel voor besluitvorming. Uit dit onderzoek blijkt namelijk dat de indicatoren die nu in de belevingsmonitor opgenomen zijn, onvoldoende representatief zijn voor de indicatoren die het relevantst bevonden worden door politiemensen zelf. Voor besluitvorming betekent dit dat het beeld op impact van informatie technologie op politie mensen ook onvoldoende in Measuring the impact of information technology systems on police practices 7

8 kaart gebracht wordt wanneer de huidige staat van de belevingsmonitor ongewijzigd blijft. Daarom beveelt dit onderzoek om scenario 1 niet door te zetten en om aanbevelingen in scenario 2 tot 4 in overweging te nemen. Scenario 2: een aangepast belevingsmonitor Een aanpassing wordt doorgevoerd in de belevingsmonitor, gericht op een wijziging in de enquête items in de belevingsmonitor. Uit dit onderzoek is gebleken dat tijdsgebruik, gebruiksgemak en concepten gerelateerd aan de kwaliteit van informatie ontvangst en invoering als meest relevante concepten bevonden worden door politiemensen. Aangezien gebruiksgemak al opgenomen is in de belevingsmonitor wordt aanbevolen om enquêtevragen voor tijdsgebruik, gebruiksgemak, uitvoer accurate informatie, uitvoer complete informatie, uitvoer tijdige informatie en invoer accurate informatie op te nemen in de belevingsmonitor. Om de toename in omvang van de enquête te beperken wordt verder aanbevolen om enquêtevragen omtrent facilitaire condities en sociale invloed te verwijderen. Voor besluitvorming heeft dit als gevolg dat inzichten die in kaart gebracht worden door belevingsmonitor dichter aansluit op onderwerpen die politiemensen het relevantst achten. Een ander voordeel is dat in deze scenario er minimale wijzigingen nodig zijn aan de belevingsmonitor. Er hoeven alleen enquêtevragen gewijzigd worden terwijl de data collectie methode hetzelfde blijft. Scenario 3: een aangepast belevingsmonitor + bestaande data uit systemen en rapporten Naast de aanpassingen als aanbevolen in de tweede scenario, worden in de derde scenario ook indicatoren toegevoegd waarvan data verkregen kan worden uit systemen en rapporten. Met oog op digitalisering van de processen door de introductie van nieuwe IT voorzieningen komt er een hoop nieuwe data beschikbaar. Daarnaast zijn er parallel aan de belevingsmonitor ook andere periodieke onderzoeken die uitgevoerd worden waarvan de data ook ingevoerd kan worden in de belevingsmonitor. Daarom wordt aanbevolen om de volgende indicatoren toe te voegen die zeer relevant bevonden werden door politie mensen en waarvan de data uit systemen en rapporten gehaald kan worden: o productie (doorlooptijd executietijd, executieopdrachten voltooid/maand) en administratief werk (verhouding administratief werk vs. werk op het veld) toe te voegen aan de belevingsmonitor. De data voor deze twee indicatoren zijn namelijk al beschikbaar uit rapporten van parallelle onderzoeken. o gebruiksgemak (aantal stappen nodig om informatie te extraheren), tijdsgebruik (tijd gespendeerd op systeem), output van accurate informatie (gerapporteerde fouten), input van accurate informatie (gerapporteerde fouten), output van complete informatie (aantal velden) en output van tijdig informatie (timestamps van data) verkregen worden uit systeemrecords. Aangezien de data voor deze indicatoren reeds beschikbaar zijn of al een keer verzameld is, zorgt het toevoegen van deze indicatoren ervoor dat er een breder en completer beeld verkregen kan worden van de impact van informatie technologie op politiewerk zonder dat er meer overlast is op politiemensen voor data collectie. Een nadeel hiervan is dat het voor de uitvoerder van de belevingsmonitor aanzienlijk meer moeite kost om deze aanpassingen in te voeren. De aanzienlijke toename in moeite uit zich voor de uitvoerder in het programmeren van querries in systemen voor automatische opname van data tot het periodiek evalueren en extraheren van informatie uit rapporten. Scenario 4: een gebalanceerd scorekaart In deze scenario wordt de belevingsmonitor niet meer als uitgangspunt gebruikt en wordt een geheel nieuw meetinstrument geïntroduceerd gebaseerd op het balanced scorecard ontwerp. Het balanced scorecard ontwerp kent daarbij vijf kern themas die verplicht zijn, waarbij de opdrachtgever afhankelijk van beschikbare bronnen en ander overwegingen een 8 Measuring the impact of information technology systems on police practices

9 aantal indicatoren onder desbetreffend thema kan plaatsen. Dit onderzoek beveelt aan om de volgende vijf kern themas te gebruiken: voorwaardelijke indicatoren, input van informatie, output van informatie, toepassing van informatie en de uitkomst door informatiegebruik. In figuur wordt een voorbeeld gegeven van een mogelijk balanced scorecard ontwerp, met inbegrip van de 15 concepten die als meest belangrijk bevonden werden door politiemensen. Aangezien in dit onderzoek 42 concepten geïdentificeerd zijn, ligt de beslissing voor het ontwerp van de balanced scorecard bij de eigenaar van de belevingsmonitor. Er kunnen indicatoren worden toegevoegd of verwijderd, maar er wordt aangeraden om in ieder geval minstens één indicator per kern thema mee te nemen in het ontwerp. Afhankelijk van de beschikbare bronnen kan de eigenaar de methode van data collectie voor elk indicator ook zelf bepalen. Er wordt wel aangeraden om een mix van subjectief verkregen data ( surveys) te mixen met objectieve data (systeem data, records) voornamelijk om de belasting van data verzameling op politie mensen zo veel mogelijk te beperken. Een voorbeeld van mogelijke data verzameling is gegeven in figuur Alhoewel dit meetscenario het meest afwijkt van de belevingsmonitor en daardoor de meest ingrijpende veranderingen nodig heeft sluit dit meetmodel het meest aan op de resultaten van dit onderzoek. Het is aan de eigenaar van de belevingsmonitor om te besluiten in hoeverre er zulke ingrijpende veranderingen gemaakt kunnen worden aan de belevingsmonitor. Het opzetten van dit nieuw meetmodel betekent namelijk ook dat vergelijkingen tussen oude en nieuwe belevingsmonitor onderzoeken zeer beperkt mogelijk is. Voorwaardelijk Input Output Toepassing Uitkomst Gebruiks gemak Complete informatie Communi catie Taak innovatie Proactivit eit Tijdsgebr uik Accurate informatie Accurate informatie Adminstr atieve last Productiv iteit Acceptati e Tijdige informatie Kennisbe houd Managem ent en controle Efficienti e Figure 1.1-1:Aanbevolen balanced scorecard ontwerp om de impact van informatie technologie op politiewerk in kaart te brengen (groen: indicatoren waarvan er grote verschillen zitten in de relevantiewaardering tussen leidinggevende en overige eindgebruikers) Measuring the impact of information technology systems on police practices 9

10 Indicator Meeteenheid Meetmethode Productivitei Gemiddelde hoeveelheid executie Performance rapport t opdrachten voltooid per tijdseenheid Gemiddelde doorlooptijd van een compleet executieopdracht cyclus Efficientie Manuren nodig voor executie Performance rapport gerelateerde opdrachten Gebruiksge mak Tijdsgebruik Adminstratie ve last Proactiviteit Taak innovatie Management en controle Communicati e Acceptatie Kennisbehou d Accurate info input Accurate output info Complete info output Tijdige output info Survey item: Hoeveel tijd breng jij door achter je pc om executie gerelateerde taken te voltooien? Hoeveelheid stappen nodig om tot compleet overzicht van een individuele executietaak te komen Tijd gespendeerd achter systeem om informatie in en/of uit te voeren Gemiddelde verhouding tijd besteed aan administratieve werk/ operatief werk voor executietaken Survey item: De mate waarin IT mij ondersteund om proactief politiewerk te verrichten Survey item: De mate waarin IT mij ondersteunt om nieuwe ideeën uit te proberen of taken op een andere betere manier uit te voeren Survey item De mate waarin IT mij ondersteunt in het managen en controleren van mijn eigen taken en die van mijn team Survey item De mate waarin IT mij ondersteunt in het communiceren met andere politiemensen Survey item: De mate waarin IT geaccepteerd is binnen mijn team Survey item: De mate waarin IT ondersteuning biedt in het preserveren of verbeteren van behoud van impliciet en expliciete politie kennis en expertise Gerapporteerde fouten Gerapporteerde fouten Gemiddelde hoeveelheid velden die weergegeven worden Gemiddeld leeftijd of information (vergeleken met datum van raadpleging) Schatting vragen in enquête Systeem record Observatie Performance rapport Schatting vragen in enquête Survey ratings Survey ratings Survey ratings Survey ratings Survey ratings Survey ratings Random sampling/ Record Random sampling/ Record Random sampling/ Record Random sampling/ Record Figure 1.1-2:Voorbeeld van data verzameling methode voor elk van de indicatoren in de balanced scorecard ontwerp (de specifieke voorbeelden ingericht op de context van OPP E&S en zouden voor andere IT- contexten enigszins veranderd moeten worden) 10 Measuring the impact of information technology systems on police practices

11 TABLE OF CONTENTS Preface & acknowledgements... 3 Executive summary (NL)... 4 Table of Contents Introduction Background Research problem Research objective Research Questions Research design Research object Research perspective Research outcome Thesis outline Domain Information technology Technological impact Complexity of impact on police practices Complexity of police practices being impacted Complexity of technological change Systems thinking Origins of systems thinking Systems Mental models Application of systems thinking approach Motivation for systems thinking Systems thinking framework Chapter conclusion System Design Starting point in literature Design process Step 1: Interviews Step 2: Establishing interviewees Step 3-4: Identifying concepts and mental map design Step 5-6: Verification and validation Step 7: Identification of most relevant indicators Step 8: Proposing future measurement scenarios Chapter conclusion Mental map of the police practices system Identification of concepts from empirical data Findings from interviews Identified concepts Measuring the impact of information technology systems on police practices 11

12 4.2 Mental map Findings from interviews Conceptual mental model Chapter conclusion Validation Data collection for validation Sampling Sorting application Validation of identified concepts Concepts considered to be of low relevance Concepts considered to be of high relevance Validation of mental map Validation of dual perspective Validation of assumptions to choose systems thinking approach Conclusion Designing a measurement tool The belevingsmonitor Reflecting the goal of the belevingsmonitor Approach Considerations and recommendations indicators to include in the belevingsmonitor data collection in the belevingsmonitor Validity of conducting before and after measurement in the belevingsmonitor Future scenarios for measurement Conclusion Conclusion Answering the research questions Discussion of findings Limitations and reccomendations for further research Reflection References Appendix A: Interview statements Appendix B: Verification checklist Appendix C: Sorting cards used in sorting sessions Appendix D: Differences between operative officers and supervisors Appendix E: Distributions of card sorting data Appendix F: Literature review Appendix G: Categorization of levels of IS- impact analysis Appendix H: Design of weighted scorecard measurement tool Appendix I: Interviews Measuring the impact of information technology systems on police practices

13 1. INTRODUCTION 1.1 BACKGROUND With the merger of 26 police departments into a single unified national police force, the police force also intents to unify supporting ICT of the police force (Ministerie V&J, 2011). One of the stepping- stones towards a unified ICT is the development of Operationeel Politie Platform (OPP): a project to replace all separate information systems that support operational tasks into a single nationwide information system (IS). Features that are central at the development of OPP are the unification of databases, a service oriented architecture (SOA) and mobility. The unification of databases is the transition from the eighteen currently separate databases into one single national database. SOA is the development of architecture with a focus on functionality. For end- users, SOA will result in separate modules of OPP tailored specifically to the needs of different types of end- users. End- users no longer need to use multiple IS in order to access different types of information (Ministerie V&J, 2011). Each end- user will have access to a module of OPP for access to all types of information they need. The focus on mobility entails development of OPP modules that are multiplatform, thus accessible on a broad range of devices through web applications. In addition to developing and implementing new IS such as OPP, the police force is interested in how the introduction of such new IS impacts their end- users. Gaining insight in the impact of IS on end- users can be valuable as feedback for further improvement of such systems, but also to provide accountability towards the minister. Currently, the police force utilizes the Belevingsmonitor Informatievoorzieningen as an instrument to measure the impact of IS on end- users. This instrument is an online survey issued nationally before and after implementations of IS. The survey items are based on the Unified Theory of Acceptance and Use of Technology (UTAUT) provided by Venkatesh, Morris, Davis & Davis (2003). Although the use of the Belevingsmonitor has provided the police with valuable insights on impact of IS on end- users, the use of the Belevingsmonitor in its current form is not a given. The police force is always appreciative upon input in improving their impact measurement methods. At this point, input in improving the Belevingsmonitor is valuable since OPP is yet to be implemented, meaning that the police force can still include improvements on the Belevingsmonitor before measuring the impact of OPP. The police force is interested in how some of the new features of OPP, such as unification, service orientation and mobility introduce new elements to be measured. The appreciation of the police force combined with the possibility to improve Belevingsmonitor before the measurement of OPP forms the motivation to perform this research. 1.2 RESEARCH PROBLEM In 2008, West European countries have invested a total amount of 41 billion euros in information technology (IDC, 2013). For 2013, this amount of investments in information technology has further increased to an amount of 50 billion euros. In this fast- paced era of rapid technological advances, Measuring the impact of information technology systems on police practices 13

14 considerable amounts of money are being spent on technology in almost all organizational structures across the globe (Yalcinkaya, 2007). Among those large organizations are law enforcement agencies such as the police force. With the launch of Aanvalsprogramma Voorzieningen Politie (AVP), the Dutch police force is reserving an amount of 325 million euros in modernizing their information technology (Ministerie V&J, 2011). Why do we invest such major amounts of money in information technology? There is a general belief that information technology eases and contributes to many aspects of our life (Nunn & Quinet, 2002). Society is bombarded with the idea of technological success (Nunn & Quinet, 2002). The idea of technological success in law enforcement is even depicted by entertainment media with the imagery of Robocop and CSI. But to what extent general belief and fiction extends to practice is still topic of popular debate. Different perspectives exist from the available literature on the extent to which information technology has changed police practices. Colvin and Goh (2005) assert that information technology has substantial impact on police practices. Yalcinkaya (2007) noted that Police use information technology tools at almost every stage, including allocation of sources, patrolling, crime prevention, crime tracking, hot pursuits, and crime solving. Maltz, Freidman and Gordon (1991) go further by stating that information is the lifeblood of the police. In contrast, Manning (1992) noted that new technologies have less effect on police practices than their proponents predict or prefer Manning (1992) pointed out, the mere availability and accessibility of information does not necessarily mean that information is used effectively or appropriately by police officers and managers. Chan, Brereton, Legosz, & Doran (2001) notes that while information technology may have enabled police to do some existing tasks better such as recording and following- up on offence details, enforcing warrants and running criminal history checks it has not yet led to major changes in how the police deals with crime and disorder issues. Generally speaking, according to Karr- Wisniewski and Lu (2010) information technology can actually be counterproductive. As American nobel laurate Robert Solow would put it, you can see computers everywhere but in the productivity statistics (Solow, 1987). This popular statement of disbelief in information technology actually impacting output became known as the Productivity Paradox (or the Solow Paradox). Despite the popularity of the Productivity Paradox and Solows statement, starting mid 1990s this disbelief in technological impact has shifted slightly (Fryk, 2007). Brynjolfsson (1993) argued that the impact of information technology is much more intricate than Solow seems to suggest. Brynjolfsson noted that the lack of visible impact of information technology could be explained by failure of current measurement methods used, as these do not always capture the actual impacts although they often exist. The explanation provided by Brynjolfsson is especially true when we consider law enforcement. Impacts of information technology in law enforcement are hard to define due to the complex nature of the inputs and outputs (Lind & Lipsky, 1971). An increase in information technology does not simply result in an increase of law enforcement, rather information technology and law enforcement is the interaction between technology and people, with people having to make sense of it; and in this sense making process, they have to develop particular assumptions, expectations and knowledge of the technology, which then serve to shape subsequent impacts because of it. (Orlikowski & Gash, 1994) Orlikowski (1994) therefore argues that the impact of technological change cannot be understood in a deterministic or rationalist way. Instead, the impacts of information technology should be measured through an interpretive or emergent (systems thinking) approach that is, the impact of 14 Measuring the impact of information technology systems on police practices

15 technological change cannot be simplified towards single parts but should rather be viewed as a whole that is subject to different contexts. Yet, a majority of over 80% of articles in leading IS journals still use the deterministic approach in conducting research (Burton- Jones, Mclean, & Monod, 2011). Little utilization is found of the Systems Thinking approach in IS literature. The intention of this research is to explore the complexity of technological impact on law enforcement, by coming up with a complete tool to measure this impact from a systems thinking perspective. This research will therefore have significant scientific value, since a systems thinking approach is not commonly used in IS literature. Using this approach might improve understanding of technological change and other technological phenomena such as the productivity paradox in a law enforcement context. Of course, this research also has practical value for law enforcement organizations themselves as it enables such organization to perform complete measurement of the police practices that are impacted by information technology. 1.3 RESEARCH OBJECTIVE As discussed in the introduction the impact of investments, implementation or even frequent use of information technology is not an obvious one. Therefore, it is important to map this impact of information technology. The development of an impact measurement method of information technology on law enforcement tasks, more specifically police practicing tasks, will be leading in this research. Furthermore, due to the complexity of information technology and law enforcement tasks, this research will adopt a systems thinking approach. How the systems thinking approach is applied to reach the research objective is discussed in the research design in 1.5. The following research objective can be derived: Develop a method to measure the impact of information technology on police practices Measuring the impact of information technology systems on police practices 15

16 1.4 RESEARCH QUESTIONS To accomplish the above stated research objective, the following main research question is formulated: How can the impact of information technology on police practices be measured? The answers of the following sub questions should lead to the answer of the main research question. 1) What is the domain of the research objective and the corresponding problems within this domain? 2) What is systems thinking and how can it be applied on the development of a measurement tool? 3) What are concepts that are relevant within the domain of this research? 4) How can these concepts be measured? The first question is related to finding definitions and identifying problems related to measurement of technological impact in a policing context. The problematic notion identified in the first question triggered the use of a system thinking approach. Therefore the second question will explain what systems thinking is and how it will be applied in this research. The third question focuses on identifying concepts relevant for measurement, while the fourth question focuses on concepts that will be included and operationalized in the measurement tool in relation to the belevingsmonitor. 1.5 RESEARCH DESIGN In this paragraph, short descriptions of the research perspective, object, outcome and framework are given. The subchapter s through will discuss all these elements individually, where the research design as a whole should become clear. It should be noted that this research differs from normal deterministic or reductionistic approaches and needs further explanations. This research uses system thinking methodologies such as mental maps, which will be explained in further detail in chapter two. For now, a brief description will be provided for terms used in the research framework illustrated below (figure 1.5-1). A measurement tool always consists of a what a how to measure (Caballero, Verbo, Calero, & Piattini, 2009). The what s to measure, being the object of this study will be identified through the mapping of a mental model 1. The mental model will be mapped based on information derived from literature and qualitative empirical data. From the mental model combined with additional quantitative empirical data, the most relevant concepts eligible as measurement indicators will be identified. For practical purposes, this research will discuss the practical implications of the results of this research. In order to discuss these practical implications, this research will reflect upon the belevingsmonitor, the current measurement method in the police force, and propose several scenarios for adjustment of the belevingsmonitor. These proposed scenarios range from slightly modified versions of the belevingsmonitor to a complete revamp of the belevingsmonitor. 1 A mental model is a model of selected concepts and the relationships between them based on someone s thought process (Forrester, 1973). It is a model of how someone thinks the world works, not how the world actually works. 16 Measuring the impact of information technology systems on police practices

17 The needed information concerning mapping of the mental model is triangulated through literature and empirical data derived from the Dutch police force. The triangulation from both theoretical and empirical perspectives should avoid any biased information as much as possible. This approach was executed during a 7- months internship at ICT organization of the Dutch police force under supervision and guidance of Drs. Ing. Ruud Hoefnagel, an internal researcher at the Dutch police force. The research design is illustrated in the operational research framework figured below. Perspective Literature Qualitative emprical data Quantitative empirical data Belevings monitor Definition of IT impact on police practices Mental model of IT impact on police practices What? Object Relevant indicators Measurement tool scenarios How? Outcome Figure 1.5-1: Operational research framework RESEARCH OBJECT The objective of this research is to develop a tool to measure impact of information technology on law enforcement police practices. As illustrated in the research framework, this objective is achieved by mapping a mental model of the impact of Information technology on police practices. This mental model functions as the object of this research, which will assist in and lead to the identification of relevant indicators for measurement. This mental model is mapped based on analysis of literature and insights from qualitative empirical data derived from a case study. The relevant indicators identified from this mental model will result in the outcome of this research RESEARCH PERSPECTIVE There is sufficient literature available on the topic of IT impact. However, much of the approaches in these earlier studies are often deterministic and reductionistic in nature (Burton- Jones et al., 2011). Thereby, these earlier studies consider one- sided recommendations or very few variables in their studies. In contrast, this research considers a holistic systems thinking approach by employing the use of a mental model. The concepts and relationships used for the mapping of this mental model originate from multiple perspectives. The multiple perspectives that are considered in the mental model range from different sources of literature to the sampling of different stakeholders in the collection of empirical data (interviews, detailed in chapter three) RESEARCH OUTCOME The main outcome of this research is recommendation of several measurement scenarios in perspective to the current design of the belevingsmonitor. 1.6 THESIS OUTLINE Measuring the impact of information technology systems on police practices 17

18 This report contains eight chapters divided over four major parts. The first part consists of this chapter (Ch. 1) and is written to provide clarifications of the research approach and the motivation to conduct this research. It provides background information, the research objective, research questions, and the research design. This first part functions as the introduction and overview of this research thesis. The second part (Ch. 2) of this research describes the relevant definitions, explanations and methodologies that will be used in this research. Chapter two focuses on the subject of this research, thus providing terms and associated problems when considering measurement of technological impact on police practices. The chapter follows up with an explanation of the systems thinking approach. Methodologies relevant for the systems thinking approach will be explained and motivation will be given as of why systems thinking was considered appropriate. The third part (Ch. 3 - Ch. 6) describes the system design and the corresponding results. Chapter three contains specific descriptions of exact processes that were used to design a mental map, identify indicators. It also includes, the data gathering methods used to design the measurement tool. In Chapter four presents the results of identified concepts and the constructed mental map. Chapter five presents the validation results. Chapter six presents the recommendations to the belevingsmonitor based on the mental map and identified indicators identified in this research. The final part is the conclusion (Ch. 7). This part is expected to generate an overview of the findings in this project and how these contribute to the already known. Also, in chapter seven the conclusions, limitations, reflections and suggestions for further research are given. 18 Measuring the impact of information technology systems on police practices

19 2. DOMAIN In this chapter a short overview is given of the domain of the research topic. The topic of this research is focused on the domain of information technology and police practices. Therefore, the topics related to information technology and police practices will be explored, discussed and whenever possible, defined. After providing definitions for the domain, this chapter continues with a description of the systems thinking perspective applied in this research. Starting from the origins of the systems thinking approach, the differences with other approaches it follows with a motivation and a generic description of how the system thinking approach is applied. 2.1 INFORMATION TECHNOLOGY Literature and practice use various terms such as information technology, information communication technology and information systems without explicitly defining the similarities and differences between them. Therefore, before going further with this research the definitions, relationships and differences between these terms will be given. An indication of how these terms will be used throughout this thesis will also be given. According to Pelgrum & Law (2003), the explicit distinction between information technology (IT) and information communication technology (ICT) originates from developments in technology throughout history. When microcomputers became available for the consumer market, the term computer was introduced. But nearing the end of the 1980s, the term computers was replaced by IT (information technology), signifying a shift of focus from computing technology to the capacity to store and retrieve information. This was followed by the introduction of the term ICT (information and communication technologies) around 1992, when e- mail started to become available to the general public. When considering Pelgrum & Law s distinction between IT and ICT, we can derive that the term IT encompasses computing technology focused on the processing of information. In contrast, ICT is a more encompassing term that reflects today s use of computing technology, which extends from the information processing aspect of computing and to the communication aspect of computing technology. In strict definitions, ICT and IT are two different concepts. This distinction between ICT and IT would be relevant in the 1980 s and 1990 s, where technologies that enable information process computing or telecommunication could still be separate technologies. More recently however, the technologies that enabled information processing and telecommunication have converged with the emergence of the internet, network computing and IP based multimedia. Thus making the classical distinction between telecommunications and computing no longer useful (Messerschmitt, 1996). While strictly two different concepts, in this thesis we consider IT to be equal to the concept of ICT since we cannot make a strict exclusion of the communication part when implementing IT. What remains is the definition of the concept of an information system (IS) and how IS relates to the concept of IT. The relationship between these two concepts depends on the perspective that is chosen. (Fryk, 2007) sees IT as the broader concept to IS. He illustrates this by the following example, when Measuring the impact of information technology systems on police practices 19

20 considering an organization s whole range of IT infrastructure, an information system such as an ERP (Enterprise Resource Planning) would only utilize a part of the whole organization s available IT, therefore the ERP IS is a small part of the broader concept of a company s IT. On the other hand, Alter (Alter, 1999) defines an IS as a holistic system that is bounded by all things necessary to process information. Therefore, an IS can be seen as the broader concept to IT. The tools used in an information system to process information can typically include information technology, but can also include other tools such as pen and paper. IT (ICT) IT IS IS Term Information technology (IT) Definition The computing technology that is mostly used in the current information systems. Information system (IS) Information processing environments that mostly use IT, but can also include pen and paper. Figure Venn diagram of IT definitions Following from the perspectives given by both authors, the relationship between IT and IS can be viewed as illustrated in the Venn diagram below. When we refer to IT, we generally refer to IT that is used in information systems (IT IS) 2. When we refer to IS, we can refer to systems that use IT (IT IS) but can also use other tools that do not fit the description of IT (right part white circle). We included descriptions of the terms in a table. In this research, we will use the terms IT and IS interchangeably because of the slight overlap in both concepts. We will use IT as a term when we want to emphasize on the technological aspects in an IS (IT IS in figure 2.1-1); in other sentences we will refer to IS as a term when we want to emphasize the use of technology in the processing of information, without explicitly excluding non- technological elements of an IS (IS in figure 2.1-1). The last distinction we make is between the product that information technology or an information system produces, which is information. This information can either be in the form of digitized information flows but also physical information flows Carlsson (2004). Information becomes knowledge when information is interpreted and understood by humans Fryk (2007). We will employ this distinction between information and knowledge. 2.2 TECHNOLOGICAL IMPACT Impact is an ambiguous term(delone & McLean, 1992). Information technology can impact many things and due to this ambiguity, authors often use the term impact in their research to denote very different levels of analysis when conducting research regarding the topic of technological impact (Surry, 2008). 2 We assume that IT that is not used in IS does not exist, therefore we indicated this part grey 20 Measuring the impact of information technology systems on police practices