SAS Intelligence Database Teknikken bag den nye database

Transcription

1 SAS Intelligence Database Teknikken bag den nye database Georg Morsing SAS Institute A/S

2 Ny databaseteknologi til enterprise intelligence RDBMS SAS Intelligence Database Information Fra store datamængder Meget hurtigt Til mange samtidige brugere Skalerbarhed gennem Partitionering af data Parallel processing

3 Ny databaseteknologi til enterprise intelligence RDBMS SAS Intelligence Database Eliminering af transaktionsorienteret overhead i RDBMS Ny databaseteknologi: Organiser data optimalt Brug hardware optimalt

4 Ny databaseteknologi til enterprise intelligence RDBMS SAS Intelligence Database Mange samtidige Lille opgave Stor opgave Udnyt alt hardware fuldt ud Designet til opgaven! Cykel såvel som database

5 Ny databaseteknologi til enterprise intelligence RDBMS SAS Intelligence Database Eliminering af transaktionsorienteret overhead Optimal udnyttelse af hardwaren Reduktion af diskforbrug Hurtigere svartid Hurtigere opdatering 2-4 gange mindre op til 40 gange hurtigere gange hurtigere

6 Database kun til enterprise intelligence Hurtig Pålidelig og robust 24/7, dedikeret database Skalerbar Opnå konstant svartid Med vækst i data, forespørgsler og brugere Lav total cost of ownership Reduceret hardware krav Udnytter hardware optimalt Enkel administration og vedligehold Svartid RDBMS Flere data, queries, brugere SAS IDB 2 CPU 4 CPU 6 CPU

7 Teknikken bag den nye database 1. Partitionering af data 2. Parallel processing 3. Index RAM 4. Connectivity Data & klienter 5. Metadata, administration og SAS Intelligence Platform I/O controller CPU CPU CPU CPU Operating system I/O controller

8 Partitionering af data Traditionel tabel Descriptor Data SAS IDB tabel Metadata Data System Table Data

9 Partitionering af data RAM CPU CPU CPU CPU Operating system I/O controller I/O controller SAS IDB tabel Metadata Data

10 Partitionering af data RAM CPU CPU CPU CPU Operating system I/O controller I/O controller SAS IDB tabel Metadata Data

11 Partitionering af data Cluster-database ETL-processer parallelt SAS IDBtabeller Data A Load-proces Fact A Data B Data C Load-proces Load-proces Fact B Fact C Udfør clusterprogram Data D Load-proces Fact D

12 Partitionering af data Cluster-database Data A ETL-processer parallelt Load proces Cluster SAS IDBtabel Fact A proc spdo library = mylib; cluster create ThirdQuarter2003 mem = Oct2006 mem = Nov2006 mem = Dec2006; quit; Data B Data C Load proces Load proces Fact B Fact C Udfører clusterprogram Data D Load proces Fact D

13 Partitionering af data Cluster-database ETL-processer parallelt Cluster SAS IDBtabel Data A Load-proces Fact A Data B Data C Load-proces Load-proces Fact B Fact C Udfører un-clusterprogram Data D Load-proces Fact D

14 Partitionering af data Cluster-database Data A ETL-processer parallelt Load-proces SAS IDBtabeller Fact A proc spdo library = mylib; Uncluster TirdQuarter2003; quit; Data B Data C Load-proces Load-proces Fact B Fact C Udfører un-clusterprogram Data D Load-proces Fact D

15 Partitionering af data Cluster-database Tidsbaseret cluster-database SAS IDB-tabel Cluster SAS IDB-tabel Metadata Data Cluster-metadata Table1 Table2 Table3 Table4 Table5 Table6 Table7 Table8 Table9 Table10 Table11 Table12

16 Partitionering af data Cluster-database Lynhurtig opdatering og oprydning Tidsbaseret cluster SAS IDB-database Forbered nye SAS IDB-tabeller Påvirker ikke den kørende SAS IDBdatabase Kør un-cluster-program Kør cluster-program Nye SAS IDB-tabeller Der skal kun dannes nye cluster-metadata Tager få sekunder/minutter Uanset datamængder

17 Partitionering af data Dynamisk cluster-database Cluster-metadata Jan 2003 Feb 2003 Mar 2003 Apr 2003 Forbered nye tabeller Udfør cluster add Jan 2005 May 2003 Jun 2003 Jul 2003 Aug 2003 Feb 2005 Sep 2003 Oct 2003 Nov 2003 Dec 2003 Jan 2004 Feb 2004 Mar 2004 Apr 2004 Mar 2005 Apr 2005 May 2004 Jun 2004 Jul 2004 Aug 2004 May 2005 Sep 2004 Oct 2004 Nov 2004 Dec 2004 Jun

18 Partitionering af data Dynamisk cluster-database Lynhurtigt at tilføje nye data Cluster Cluster-metadata Metadata Jan 2003 Feb 2003 Mar 2003 Apr 2003 Jan 2003 Feb 2003 Mar 2003 Apr 2003 Jan 2005 Jan 2005 May 2003 Jun 2003 May 2003 Jun 2003 Jul 2003 Aug 2003 Jul 2003 Aug 2003 Feb 2005 Feb 2005 Sep 2003 Oct 2003 Nov 2003 Dec 2003 Sep 2003 Oct 2003 Nov 2003 Dec 2003 Jan 2004 Feb 2004 Mar 2004 Apr 2004 Jan 2004 Feb 2004 Mar 2004 Apr 2004 Mar 2005 Apr 2005 Mar 2005 Apr 2005 May 2004 Jun 2004 May 2004 Jun 2004 Jul 2004 Aug 2004 Jul 2004 Aug 2004 May 2005 May 2005 Sep 2004 Oct 2004 Nov 2004 Dec 2004 Sep 2004 Oct 2004 Nov 2004 Dec 2004 Jun 2005 Jun

19 Teknikken bag den nye database 1. Partitionering af data 2. Parallel processing 3. Index 4. Connectivity Data & klienter 5. Metadata, administration og SAS Intelligence Platform RAM I/O controller Cluster-database CPU CPU CPU CPU Operating system I/O controller

20 Teknikken bag den nye database 1. Partitionering af data 2. Parallel processing 3. Index 4. Connectivity Data & klienter 5. Metadata, administration og SAS Intelligence Platform RAM I/O controller CPU CPU CPU CPU Operating system I/O controller

21 Parallel processing Optimal hardwareudnyttelse Indbygget parallel programlogik: Where processing Sorting Group by Table join Multi-index builds & updates Query optimizer SQL planner

22 Parallel processing Partielle datafiler Thread 1 Thread 2 Thread 3 Thread WHERE, KEEP, SORT, SUMMARIZE, GROUP BY Partielle resultater Samling af delresultater Færdig resultat til klient

23 Parallel processing Table join Threaded Sort on Table A Threaded Sort on Table B Parallel sortering af partitionerede datafiler A A A A B B B B Tabel A og B sorteret A1 A2 A3 A4 B1 B2 B3 B4 Parallel table join Thread 1 Thread 2 Thread 3 Thread 4 A1 B1 A2 B2 A3 B4 A4 B4 Output Table

24 Parallel processing Index creation Partitionerede datafiler Parallel dannelse af index Index 1 Index 2 Index 3 Index 4 Index-dannet

25 Avanceret hybrid-index-teknologi Traditionel tabel Descriptor Data SAS IDB-tabel Metadata Data Parallel indexevaluering Flere tråde evaluerer WHERE samtidigt Index-metadata Index Metadata Index Index-segmenter

26 Avanceret hybrid-index-teknologi Parallel index-evaluering Flere tråde evaluerer WHERE samtidigt Index-metadata og segmenter where column_a in ('A','B') ; Indexmetadata Index column_a Segment 1 Segment 2 Segment 3 Segment 4 Segment 5 Segment 6 Segment 7 Segment 8 More Segments.....

27 Avanceret hybrid-index-teknologi Cached index-metadata MIN, MAX, COUNT, COUNT DISTINCT NMISS, RANGE SAS IDB-tabel Metadata Data Undgå fuld table scan Select count(*) from table; X Metadata Index Index-statistiktabel

28 Adgang til data fra enhver klient SAS -klient Libname statement Åbner adgang fra alle SAS-klienter Transparent som enhver anden database Datatype: SAS Intelligence Database libname mylib sasspds "class" server=localhost.5200 user='student' passwd='metadata0';

29 Adgang til data fra enhver klient SAS -klient SQL pass-through facility SQL udføres på server og ikke klient SQL udføres i SAS Intelligence Database proc sql; select * from connection to sasspds (... sasspds kode... ); Datatype: SAS Intelligence Database

30 Adgang til data fra enhver klient Øvrige klienter: ODBC Windows-klient JDBC Java-program med web-interface htmlsql Webapplikation SQL C API C eller C++ applikation

31 SAS Intelligence Platform Rollebaserede applikationer Informationsbruger Avanceret bruger / analytiker Forretningsadministrator Adgang til SAS IDB som enhver anden datakilde Brugerstyring, logning, integration Web server Server tier Danner og opdaterer SAS IDB Teknisk administrator Metadata Datawarehouse SAS Intelligence Database Dataintegrationsekspert Eksterne datakilder

32 SAS Intelligence Platform SAS Management Console Administration Administration af alle ressourcer Servere Databaser User, group, rolle Rapporter SAS Stored Processes SAS -licenser Job schedulering SAS Intelligence Database

33 Teknikken bag den nye database 1. Partitionering af data 2. Parallel processing 3. Index RAM 4. Connectivity Data & klienter 5. Metadata, administration og SAS Intelligence Platform I/O controller CPU CPU CPU CPU Operating system I/O controller

34