Efficient and Consistent Transaction Processing in Wireless Data Broadcast Environments

Transcription

1 Efficient and Consistent Transaction Processing in Wireless Data Broadcast Environments Dissertation zur Erlangung des akademischen Grades des Doktors der Naturwissenschaften an der Universität Konstanz Fachbereich Informatik und Informationswissenschaft vorgelegt von André Seifert Begutachtet von 1. Referent: Prof. Dr. Marc H. Scholl, Universität Konstanz 2. Referent: Prof. Dr. Daniel A. Keim, Universität Konstanz Tag der Einreichung: Tag der mündlichen Prüfung:

2 ii

3 Mit Worten verhält es sich wie mit Sonnenstrahlen je mehr man sie kondensiert, um so tiefer dringen diese. Robert Southey Zusammenfassung Die hybride, d.h., push- und pull-basierte Datenkommunikationsmethode wird sich wahrscheinlich als primärer Ansatz für die Verteilung von Massendaten an große Benutzergruppen in mobilen Umgebungen durchsetzen. Eine wesentliche Aufgabenstellung innerhalb hybrider Datenkommunikationsnetze ist es, Klienten einen konsistenten und aktuellen Blick auf die vom Server entweder über einen Breitband-Broadcastkanal oder mehrere dedizierte Schmallband-Unicastkanäle bereitgestellten Daten zu geben. Ein ebenso wichtiges Forschungsgebiet innerhalb hybrider Datenkommunikationssysteme stellt die Pufferverwaltung der mobilen Endgeräte dar, welche die Diskrepanz zwischen der Struktur und dem Inhalt des Broadcast-Programmes und den klienten-spezifischen Informationsbedürfnissen und Datenzugriffsmustern aufzulösen versucht. Weiterhin kommt dem Klientenpuffer die Aufgabe zu, die sequentielle Zugriffscharakteristik des Broadcastkanals weitgehend zu verbergen und er kann darüberhinaus als Speicherort verwendet werden, um veraltete aber für den Klienten immer noch nützliche Datenobjekte vorzuhalten, die demnächst vom Server physikalisch gelöscht werden sollen oder dort bereits gelöscht worden sind. Die vorliegende Dissertation stellt zunächst verschiedene drahtlose Netzwerktypen vor, welche derzeit zur mobilen Datenkommunikation zur Verfügung stehen und zeigt anschließend, daß die Mehrheit heutiger drahtloser Netze über eine Asymmetrie in der Bandbreitenkapazität, dem Datenvolumen sowie der Servicelast verfügt. Es wird aufgezeigt, daß die hybride Datenkommunikation, welche die traditionelle Pull- und die relativ neue Pushtechnik vereint, eine attraktive Kommunikaiii

4 iv Zusammenfassung tionsvariante zur Schaffung skalierbarer und flexibler mobiler Datendienste darstellt. Es folgt ein kurzer Überblick über die verschiedenen umweltbezogenen und systemimmanenten Einschränkungen, welche mobile Computersysteme ausgesetzt sind und wir schlussfolgern daraufhin, daß es in mobilen drahtlosen Umgebungen wesentlich schwieriger als in traditionellen stationären Datenübertragungsnetzen ist, gute Performanceergebnisse in Verbindung mit starken semantischen Konsistenzgarantien für Transaktionen zu erreichen. Im gleichen Zuge werden mögliche Techniken präsentiert, um Datenkonflikte zwischen parallel laufenden Transaktionen zu vermeiden bzw. deren Anzahl zu verringern und es werden Möglichkeiten vorgestellt, wie Datenkonflikte erkannt und aufgelöst werden können. Wenn man hybride Datenkommunikationsnetze mit hoher Performance, Skalierbarkeit und Verlässlichkeit entwerfen und realisieren möchte und darüber hinaus auch noch strenge Anforderungen an die Datenkonsistenz und -aktualität des Systems stellt, müssen neben der Transaktionskontrolle diverse andere performance- und missionskritische Aspekte betrachtet werden. Um dieser Forderung nachzukommen, beschäftigt sich die Arbeit u.a. mit den Themen des Broadcast-Schedulings und der Broadcast-Indexierung und es werden hierzu in der Literatur vorgeschlagene Ansätze präsentiert sowie evaluiert. Im Anschluß an die Darlegung der praktischen Notwendigkeit und dem zunehmenden Interesse an der Gewährleistung einer zeitnahen und konsistenten Bereitstellung von Masseninformation über mobile Breitband-Broadcastkanäle, schließt sich eine Diskussion über die Herausforderungen und vielfältigen Probleme, welche hiermit verbunden sind, an. In diesem Zusammenhang wird behauptet, daß die momentan vorhandenen Definitionen von Isolationsgraden nicht für die Implementation von Transaktionsprotokollen, welche für Nur-Lese-Transaktionen kreiert werden, geeignet sind, da diese eventuell ungewollte obwohl korrekte Datenzugriffe aufgrund nicht vorhandener Datenaktualitätsgarantien erlauben. Um diesem Problem Abhilfe zu schaffen, werden vier neue Isolationsgrade, welche zahlreiche nützliche Datenkonsistenz- und -aktualitätsgarantien für Nur-Lese- Transaktionen zur Verfügung stellen, definiert und es werden geeignete Implementierungen dieser Isolationsgrade für hybride Datenkommunikationsnetze präsentiert. Um Performanceunterschiede zwischen den neu definierten Isolationsgraden bzw. Protokollen zu ermitteln, wurden zahlreiche empirische Experimente durchgeführt, welche zeigen, daß der Strict Forward BOT View Consi-

5 v stency Isolationsgrad und seine Implementation, welche die Bezeichnung MVCC-SFBVC trägt, die besten Performanceergebnisse unter den verglichenen Transaktionsprotokollen erzielt. Um die Antwortzeiten von mobilen Anwendungen zu verkürzen und um eine hohe Skalierbarkeit von hybriden Datenkommunikationssystemen zu erreichen, spielt die Pufferverwaltung der mobilen Klienten (d.h. Endgeräten) eine wesentliche, wenn nicht die entscheidende Rolle. Da existierende Pufferverwaltungsstrategien nur eine ungenügende Unterstützung für Mehrversions- Transaktionsprotokolle bieten, stellt diese Arbeit eine neue Pufferersetzungs- und -vorabrufstrategie vor, welche den Namen MICP trägt. Das Acronym MICP steht dabei für Multi-version Integrated Caching und Prefetching und stellt eine hybride Pufferverwaltungsmethode dar, welche sowohl Datenseiten als auch Datenobjekte verwalten kann. Während Datenseiten nach dem traditionellen LRU-Verfahren ersetzt werden, führt das MICP-Verfahren Objektersetzungs- und - vorabrufentscheidungen auf der Basis zahlreicher performance-kritischer Informationen durch, wozu u.a. die Aktualität und Häufigkeit vorangegangener Objektzugriffe, die prognostizierte Änderungswahrscheinlichkeit der gespeicherten Datenobjekte sowie deren Wiederbeschaffungskosten zählen. Um auf bestimmte speicherungsrelevante Ereignisse, wie z.b., daß bestimmte gespeicherte Objektversionen für die Ausführung der momentan laufenden Transaktion(en) nutzlos geworden sind, reagieren zu können, ist der MICP-Puffermanager eng an den Transaktionmanager gekoppelt. Um zu vermeiden, daß nützliche jedoch nicht-wiederbeschaffbare Objektversionen mit wiederbeschaffbaren Objektversionen um verfügbare Pufferressourcen konkurrieren müssen, teilt das MICP-Verfahren den vorhandenen Speicherplatz des Klientenpuffers in zwei unterschiedlich große Segmente auf: die sogenannte REC- und NON-REC-Partition. Zur Beurteilung der Effizienz der MICP-Puffermanagementstrategie wurden umfangreiche Simulationsstudien durchgeführt, welche zeigen, daß mobile Klienten, die nicht das MICP-Verfahren zur Ausführung von Nur-Lese- Transaktionen einsetzen, einen durchschnittlichen Performanceverlust von etwa 19% erleiden. Schließlich widmet sich die Arbeit dem Problem, Serialisierbarkeit von Lese-Schreib- Transaktionen in Verbindung mit guten Antwortzeiten und einer niedrigen Transaktionsabbruchsrate in hybriden drahtlosen Datenkommunikationsnetzen zu erreichen. Um diese Ziele zu verwirklichen, stellt die Arbeit eine Familie von fünf Mehrversions-Transaktionsprotokollen vor, die den

6 vi Zusammenfassung Namen MVCC-* trägt. Die einzelnen Protokolle der MVCC-*-Familie unterscheiden sich dabei hinsichtlich der Scheduling-Performance, den Datenaktualitätsgarantien, welche den Leseoperationen der Transaktionen zugesichert werden, sowie der Speicher- und Zeitkomplexität. Es werden die Performanceabweichungen zwischen den einzelnen Protokollen der MVCC-*-Familie, welche aufgrund unterschiedlicher Datenaktualitätsgarantien und Schedulingentscheidungen entstehen, quantifiziert und außerdem werden die Performanceergebnisse mit denen, welche für das bekannte Snapshot Isolation Protokoll entstehen, verglichen. Da die MVCC-*-Protokollfamilie für Schedulingentscheidungen nur einfache Lese- und Schreiboperationen zur Laufzeit und keine semantischen Informationen über ihre zugrunde liegenden Transaktionen verwendet, skizziert und evaluiert die Arbeit diverse Möglichkeiten, welche die vorgeschlagenen Transaktionsprotokolle erweitern, um Datenkonflikte zu vermeiden bzw. zu reduzieren. Hierzu gehört u.a. die Spezifikation von alternativen Schreiboperationen für ursprüngliche Änderungsoperationen, die Reduktion der Datengranularität auf welcher die Transaktionskontrolle basiert sowie die Erhöhung der Anzahl der vom System vorgehaltenen Versionen der Datenobjekte. Anschließend wird verdeutlicht, daß die MICP-Pufferverwaltungsstrategie auch dann dem LRFU-Verfahren bezüglich der Pufferperformance überlegen sein kann, wenn diese in Verbindung mit der Ausführung von Lese-Schreib- Transaktionen eingesetzt wird.

7 It is with words as with sunbeams the more they are condensed, the deeper they burn. Robert Southey Abstract Hybrid, i.e., push and pull-based, data delivery is likely to become a method of choice for the distribution of information to a large user population in many new mobile and stationary applications. One of the major issues in hybrid data delivery networks is to provide clients with a consistent and current view on the data delivered by the server through a broadband broadcast channel and a set of dedicated narrowband unicast channels while minimizing the users response times. Another complementary problem in hybrid data delivery is the caching policy of the clients that needs to solve the mismatch between the server s broadcast schedule and the individual user s access pattern, to compensate for the sequential access characteristics of the air-cache, and to function as a last-resort source for non-current object versions that have been physically evicted from the server storage facilities. In this doctoral thesis, we first discuss the various wireless network types currently available to provide data communication services and show that the majority of them exhibit asymmetry in the bandwidth capacity (i.e., those networks which have a significantly higher bandwidth available from servers to clients than in the reverse direction), data volume, and service load. We then argue that hybrid data delivery which integrates the traditional pull and the rather novel push techniques is an attractive communication mode to create highly scalable and flexible data services. A brief overview of the environmental and system-immanent constraints of mobile computing systems follows and we reason that providing good system throughput results along with strong semantic guarvii

8 viii Abstract antees for transactions is more challenging in mobile, portable environments than in conventional fixed networks. In the same vein, we present possible techniques to avoid and reduce the number of data conflicts that may arise and discuss ways to detect and more importantly, to resolve them once identified. To design and deploy high performance, scalable, and reliable hybrid delivery networks which provide strong semantic guarantees w.r.t. data consistency and currency to its users, various other performance- and mission-critical issues besides concurrency control (CC) needs to be addressed. To take account of that, we present and evaluate several strategies proposed in the literature on major topics such as broadcast scheduling or broadcast channel indexing not being covered in separate chapters in later parts of the thesis. After motivating the practical need for timely and consistent data delivery to thousands of information consumers, we discuss the challenges and problems involved in supporting appropriate consistency and currency guarantees to dissemination-based applications. We then argue that current definitions of isolation levels (ILs) are inappropriate for implementations of CC protocols suitable for read-only transactions as they allow unwanted, though consistent, data access patterns due to lack of data currency guarantees. To rectify the problem, we define four new ILs providing various useful data consistency and currency guarantees to read-only transactions and present suitable implementations of the proposed ILs for hybrid data delivery networks. To evaluate the performance trade-offs among the newly defined ILs and protocols, respectively, extensive numerical experiments are done, demonstrating that the Strict Forward BOT View Consistency level and its implementation, termed MVCC-SFBVC, provides the best possible performance results among the CC protocols studied. To shorten the response times and to achieve high scalability, client caching is one, if not the most fundamental technique in order to achieve these goals. In this thesis, we introduce a novel client cache replacement and prefetching strategy, called MICP, that makes eviction and prefetching decisions sensitive to various performance-critical factors including the objects access recency and frequency in the recent past, their update likelihood in the near future, their re-acquisition costs, etc. On top of that, MICP is tightly-coupled to the transaction manager in order to obtain and instantly react on information indicating that locally stored non-current object versions have become useless

9 ix from the CC perspective and can therefore be evicted from the client cache. To prevent that useful, but non-re-cacheable, object versions compete with re-cacheable object versions for available cache resources, MICP logically divides the cache into two variable-sized segments, dubbed REC and NON-REC. To evaluate MICP s cache management efficiency, we report on extensive experiments showing that MICP is able to improve transaction throughput results achieved by state-of-the-art online cache replacement and prefetching policies by about 19% if used for executing read-only transactions. Finally, we consider the challenging problem of providing serializability along with good performance and strong semantic data currency and consistency guarantees to mobile applications issuing read-write transactions. To achieve this goal, we present a suite of five multi-version concurrency control (MVCC) protocols, denoted MVCC-*, that differ from each other in terms of their scheduling performance, data currency guarantees, and space and time complexity. We quantify the performance deviations among the protocols of the MVCC-* suite due to applying different read rules for servicing read requests and, additionally, compare their results with those measured for the well-known Snapshot Isolation scheme. As the MVCC-* suite is based only on analyzing read and write operations at runtime and does not exploit semantic information about their constituent transactions, we outline and partially evaluate (by means of simulation) possibilities of extending the proposed protocols by conflict reducing and avoiding measures such as specifying alternative write operations, reducing the data granularity at which CC is applied, increasing the number of versions managed in the system, etc. Last, but not least, we provide evidence that MICP is superior to LRFU, being the best cache replacement policy known so far, if used to improve the response times of read-write transactions.

10 x Abstract

11 If you wish your merit to be known, acknowledge that of other people. Oriental Proverb Acknowledgments First of all, I m indebted to my dissertation supervisor Marc H. Scholl who using patience, motivation, ingenuity, and a laissez-faire management style managed to get me through to my PhD. Thanks go to my parents Christine and Frank and my sister Bianca for their unflagging support throughout the many years of my academic work and their warm and cosy welcome whenever visiting them during holidays or on other occasions. My thanks go also to my current and exflatmates Denise, Lisa, Stefan, and Tilman, who made living and spending leisure time in Konstanz a pleasure to me. Finally, thanks to the other members of the Database Research Group and the anonymous referees of my submitted research papers paving the way to this dissertation for their insightful, critical, and valuable comments on my research work. A special thanks goes to my PhD colleague Svetlana for proof-reading large parts of the dissertation manuscript. xi

12 xii Acknowledgments

13 Contents Zusammenfassung iii Abstract vii Acknowledgments xi List of Figures xix List of Tables xx List of Algorithms xxi List of Acronyms xxii List of Symbols xxviii 1 Introduction Problem Statement Contribution Publications Outline Background Basics of Wireless Communication Systems Wireless Network Types xiii

14 xiv Contents 2.3 Limitations of Mobile Computing Techniques to Avoid or Reduce Reconciliation Conflicts Techniques to Detect and Resolve Reconciliation Conflicts Hybrid Data Delivery Why to Use Hybrid Data Delivery Hybrid Data Delivery Networks Organizing the Broadcast Program Indexing the Broadcast Program Processing Read-only Transactions Efficiently and Correctly Introduction Motivation Contribution and Outline Preliminaries New Isolation Levels Suitable for Read-only Transactions Why Serializability may be Insufficient BOT Serializability Strict Forward BOT Serializability Update Serializability Strict Forward BOT Update Serializability View Consistency Implementation Issues MVCC-BS MVCC-SFBS MVCC-SFBUS MVCC-SFBVC Performance Results System Model

15 Contents xv Workload Model Experimental Results of the Proposed CC Protocols Comparison to Existing CC Protocols Conclusion and Summary Client Caching and Prefetching Strategies to Accelerate Read-only Transactions Introduction and Motivation Multi-Version Client Caching Multi-Version Client Prefetching Outline System Design and General Assumptions Data Delivery Model Client and Server Cache Management Data Versioning Client Cache Synchronization MICP: A New Multi-Version Integrated Caching and Prefetching Algorithm PCC: A Probabilistic Cost-based Caching Algorithm PCP: A Probabilistic Cost-based Prefetching Algorithm Maintaining Historical Reference Information Implementation and Performance Issues Performance Evaluation System Model Workload Model Other Replacement Policies Studied Basic Experimental Results Additional Experiments Effects of the Version Management Policy on MICP-L Effects of the History Size on MICP-L

16 xvi Contents 5.5 Conclusion Processing Read-Write Transactions Efficiently and Correctly Introduction Motivation Contribution and Outline System Design and Assumptions Data Delivery Model Database and Transaction Model A New Suite of MVCC Protocols MVCC-BOT Scheme Optimizing the MVCC-BOT Scheme MVCC-IBOT Scheme Optimizing the MVCC-IBOT Scheme MVCC-EOT Scheme Performance-related Issues Caching Disconnections Conflict Reducing Techniques Performance Evaluation Simulator Model Workload Model Comparison with other CC Protocols Basic Experimental Results Results of the Sensitivity Analysis Effects of Varying the Data Contention Level Effects of Specifying Alternative Write Operations Effects of Intermittent Connectivity

17 Contents xvii Effects of Using Various Caching and Prefetching Policies Conclusion and Future Work Summary and Conclusion Future Work Bibliography 247

18 List of Figures 2.1 Demand-assign based multiple access techniques Various possible organization structures of the broadcast program Example illustrating the signature comparison process An example illustrating the Hashing A data access protocol Tree-indexed broadcasting Multi-version serialization graph of MVH Multi-version serialization graph of MVH Organization structure of the broadcast program An overview of the simulation model used to generate the performance statistics Throughput achieved by the protocols implementing the newly defined ILs Wasted work performed by the protocols implementing the newly defined ILs Protocols studied with their respective data consistency and currency guarantees Throughout results of various CC protocols compared to MVCC-SFBVC Wasted work performed by various CC protocols compared to MVCC-SFBVC An example illustrating the peculiarities of multi-version client caching Organization of the client cache Performance of MICP-L and its competitors under various transaction sizes Client cache hit rate of MICP-L and its competitors under various transaction sizes Performance of MICP-L and its competitors under various versioning strategies Performance of MICP-L under various cache sizes when HCR is varied xviii

19 List of Figures xix 6.1 Structure of the broadcast program Multi-version serialization graph of MVH 4 and MVH Multi-version serialization graph of MVH Multi-version serializability graph of MVH Multi-version serialization graph of MVH Two level history showing lower and higher order operations of two transactions Performance results of the MVCC-* suite and SI under various transaction sizes Performance of MVCC-BOT and MVCC-IBOT and their optimized variants Performance of various CC protocols by varying the number of data updates Performance gain by providing alternative write operations Performance degradation when increasing the client disconnection probability I Performance degradation when increasing the client disconnection probability II Performance deviation between various client caching and prefetching policies I Performance deviation between various client caching and prefetching policies II 233

20 List of Tables 2.1 Various characteristics of current and emerging wireless network technologies Newly defined ILs and their core characteristics Summary of the system parameter settings I (Read-only transaction experiments) Summary of the system parameter settings II (Read-only transaction experiments) Summary of the workload parameter settings (Read-only transaction experiments) Summary of the system parameter settings I Summary of the system parameter settings II Summary of the workload parameter settings Definitions of possible conflicts between transactions Summary of the system parameter settings I (Read-write transaction experiments) Summary of the system parameter settings II (Read-write transaction experiments) Summary of the workload parameter settings (Read-write transaction experiments) The MVCC-* suite at a glance xx

21 List of Algorithms 3.1 Multi-disk broadcast generation algorithm Access protocol for retrieving data objects by using the integrated signature scheme Data access protocol of the Hashing A scheme Access protocol for retrieving data objects by using the (1,m) indexing scheme Algorithm used by MVCC-SFBS to map read operations to object version reads Algorithm used by MVCC-SFBUS to map read operations to object version reads Probabilistic Cost-based Caching (PCC) Algorithm Probabilistic Cost-based Caching (PCC) Algorithm (cont d) Probabilistic Cost-based Prefetching (PCP) Algorithm MVCC-BOT s scheduling algorithm CCR processing and transaction validation under MVCC-BOT CCR processing and transaction validation under MVCC-BOT O MVCC-BOT O s scheduling algorithm CCR processing and transaction validation under MVCC-IBOT MVCC-IBOT s scheduling algorithm CCR processing and transaction validation under MVCC-IBOT O MVCC-IBOT O s scheduling algorithm CCR processing and transaction validation under MVCC-EOT MVCC-EOT s scheduling algorithm xxi

22 List of Acronyms 2G Second Generation 2.5G Second-and-a-half Generation 3G 4G ACL ADAT ALOHA Third Generation Fourth Generation Asynchronous Connection-oriented Air-Cache Data Access Time The earliest packet network developed at the University of Hawaii at Monoa AIPT ATT AWT BID BOT CC CCR CCSize CD-SFR-SQ-MVSG Air-Cache Index Probe Time Air-Cache Tuning Time Air-Cache Wait Time Bucket Identifier Begin-Of-Transaction Concurrency Control Concurrency Control Report Client Cache Size Causal Dependency Strict Forward Read Single Query Multi-Version Serialization Graph CDMA CPU CRF CRM Code Division Multiple Access Central Processing Unit Combined Recency and Frequency Value Customer Relationship Management xxii

23 xxiii CSMA DBSize DBS EDGE EOT ERP FCV FDD FDMA FIFO FIR GEO GPRS GPS GSM HCR HSCSD IBOT ID IEEE IL IR IrDA ISDN IS Carrier Sense Multiple Access Database Size Direct Broadcast Satellite Enhanced Data Rate for GSM Evolution End-Of-Transaction Enterprise Resource Planning Forward Consistent View Frequency Division Duplexing Frequency Division Multiple Access First-In-First-Out Fast Infrared Geostationary Orbit General Packet Radio Service Geographical Positioning Systems Global System Mobile History Size / Cache Size Ratio High Speed Circuit Switched Data In-Between-Of-Transaction Identifier Institute of Electric and Electronic Engineers Isolation Level Infrared Infrared Data Association Integrated Services Digital Network Index Segment IS-136 Interim Standard 136 IS-95 Interim Standard 95 IS-95B Second Generation of the IS-95 Standard

24 xxiv List of Acronyms ISM KIWI LEO LFU LOS LRFU LRFU-P LRU MAC MBC MIBC MIPS MICP MICP-L MEO MVSG MVCC MVCC-BOT Industrial, Scientific and Medical Kill It With Iron Low-altitude Earth Orbits Least Frequently Used Line-of-Sight Least Recently Frequently Used Prefetch-based Variant of the LRFU Algorithm Least Recently Used Media Access Control Major Broadcast Cycle Minor Broadcast Cycle Million Instructions Per Second Multi-Version Integrated Caching and Prefetching Algorithm Lightweight Multi-Version Integrated Caching and Prefetching Algorithm Medium-altitude Earth Orbits Multi-Version Serialization Graph Multi-Version Concurrency Control Multi-Version Concurrency Control Protocol with BOT data currency guarantees MVCC-BOT O Optimized Multi-Version Concurrency Control Protocol with BOT data currency guarantees MVCC-BS Multi-Version Concurrency Control Protocol with BOT Serializability Guarantees MVCC-EOT Multi-Version Concurrency Control Protocol with EOT data currency guarantees MVCC-IBOT Multi-Version Concurrency Control Protocol with IBOT data currency guarantees