Hadoop. הנדיב,71 הרצליה טלפון: פקס: תיאור ההכשרה

Transcription

1 BIG Data Expert Hadp משך המסלול: כ- 4 חודשי לימוד פעמיים בשבוע בין השעות 17:30-21:30 היקף המסלול: 155 שעות אקדמיות תיאור ההכשרה בעולם טכנולוגי ועסקי, הנתונים והמידע הם הנכס האמיתי של כל ארגון בעולם. מסלול ההתמחות Big-Data Expert מכשיר את המועמד לתפקיד העתיד של עולם הנתונים והמידע וזאת ההזדמנות שלך להתנסות ולהכיר לפני כולם את הטכנולוגיות המובילות בעולם! במסלול הכשרה זה, נתמקד בבסיס הנתונים Cludera s Apache Hadp הנחשב לבסיס הנתונים הפופולארי ביותר בעולמות ה- Big-Data ונמצא בשימוש חברות רבות. מה זה?BIG-DATA המונח Big-Data מתייחס למאגרי מידע הכולל נתונים בנפחים גדולים, אשר בסיסי נתונים קונבנציונליים, אינם מהווים פתרון אידיאלי לאחסון ושליפה מהירה של מידע זה. בסיסי נתונים בעולמות ה- Big-Data בדרך כלל תומכים במידע של בסיסי נתונים שאינם מאורגנים לפי שיטה כלשהי.)Unstructured) אלו בסיסי נתונים התומכים במידע אשר מגיע ממקורות רבים, בכמויות גדולות, בפורמטים מגוונים ובאיכויות משתנות. האתגר בניהול נתונים )DATA( בהיקפים גדולים, שאינם מוזנים בצורה מתוכננת מראש ואינם כפופים לשיטת אפיון מרכזית, הפך את התחום הטכנולוגי של Big-Data לעניין מרכזי ועתידי בטכנולוגיות המידע. בשנים האחרונות הוזלו עלויות אמצעי האחסון באופן משמעותי, במקביל לעליה בכמות האדירה של מידע המגיע ממקורות כגון: אתרי אינטרנט, רשתות חברתיות, מכשירים סלולריים, מצלמות אבטחה, סנסורים ועוד. כתוצאה מכך, מידע רב נאגר ללא מחיקה ומאפשר יכולות ניתוח תבניות )Patterns( וקורלציות הנדרשות בעולמות תוכן רבים. מה זה?Hadp )Big-Data( הינו קוד פתוח של קרן התוכנה אפאצ'י, שמטרתה לעבד כמויות גדולות של נתונים Hadp בסביבת הפיתוח. Hadp מאפשר עבודה של אלפי יחידות עיבוד )Ndes( המטפלות בו זמנית במידע בהיקף של.Petabytes העבודה הינה על קבצים גדולים המבוזרים על פני אשכולות מחשבים, תוך שימוש במודל תכנות פשוט. זוהי תשתית המאפשרת לחבר בעזרת תוכנה עשרות, מאות ואלפי שרתים בסיסיים - לסביבה אחת פשוטה קהל יעד בעלי רקע טכנולוגי בתחום מסדי הנתונים,)DBA( בינה עסקית )BI( או פיתוח תוכנה עם ניסיון בעבודה מול בסיסי נתונים רלציונים )RDBMS( כגון: Oracle, SQL Server, MySQL, PstgreSQL או.DB2 NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

2 נושאי הלימוד Linux Preparatry Linux fundamentals part 1 Wrk Effectively n the Unix Cmmand Line Installing and cnfiguring Linux n Virtual Machine. Linux fundamentals part 2 Prcess Text Streams Using Text Prcessing Filters Perfrm Basic File Management Use Unix Streams, Pipes and Redirects Linux fundamentals part 3 Jb Cntrl Create, Mnitr, and Kill Prcesses Manage File Ownership Hadp Administratr Intrductin - The Case fr Apache Hadp Why Hadp? Cre Hadp Cmpnents Fundamental Cncepts HDFS HDFS Features Writing and Reading Files NameNde Memry Cnsideratins Overview f HDFS Security Using the Namende Web UI Using the Hadp File Shell Getting Data int HDFS Ingesting Data frm External Surces with Flume NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

3 Ingesting Data frm Relatinal Databases with Sqp REST Interfaces Best Practices fr Imprting Data YARN and MapReduce What Is MapReduce? Basic MapReduce Cncepts YARN Cluster Architecture Resurce Allcatin Failure Recvery Using the YARN Web UI MapReduce Versin 1 Planning Yur Hadp Cluster General Planning Cnsideratins Chsing the Right Hardware Netwrk Cnsideratins Cnfiguring Ndes Planning fr Cluster Management Hadp Installatin and Initial Cnfiguratin Deplyment Types Installing Hadp Specifying the Hadp Cnfiguratin Perfrming Initial HDFS Cnfiguratin Perfrming Initial YARN and MapReduce Cnfiguratin Hadp Lgging Installing and Cnfiguring Hive, Impala, and Pig Hive Impala Pig NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

4 Hadp Clients What is a Hadp Client? Installing and Cnfiguring Hadp Clients Installing and Cnfiguring Hue Hue Authenticatin and Authrizatin Cludera Manager The Mtivatin fr Cludera Manager Cludera Manager Features Express and Enterprise Versins Cludera Manager Tplgy Installing Cludera Manager Installing Hadp Using Cludera Manager Perfrming Basic Administratin Tasks Using Cludera Manager Advanced Cluster Cnfiguratin Advanced Cnfiguratin Parameters Cnfiguring Hadp Prts Explicitly Including and Excluding Hsts Cnfiguring HDFS fr Rack Awareness Cnfiguring HDFS High Availability Hadp Security Why Hadp Security Is Imprtant Hadp s Security System Cncepts What Kerbers Is and Hw it Wrks Securing a Hadp Cluster with Kerbers Managing and Scheduling Jbs Managing Running Jbs Scheduling Hadp Jbs Cnfiguring the FairScheduler NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

5 Impala Query Scheduling Cluster Maintenance Checking HDFS Status Cpying Data Between Clusters Adding and Remving Cluster Ndes Rebalancing the Cluster Cluster Upgrading Cluster Mnitring and Trubleshting General System Mnitring Mnitring Hadp Clusters Cmmn Trubleshting Hadp Clusters Cmmn Miscnfiguratins Develping Java Fundamentals Intrductin OOP Tur f java.lang.* / java.util.* Classes Inheritance Abstract methd and an Abstract class Plymrphism Cllectins Errr Handling Writing a MapReduce Prgram in Java Basic MapReduce API Cncepts Writing MapReduce Drivers, Mappers, and Reducers in Java Speeding Up Hadp Develpment by Using Eclipse NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

6 Differences Between the Old and New MapReduce APIs Writing a MapReduce Prgram Using Streaming Writing Mappers and Reducers with the Streaming API Unit Testing MapReduce Prgrams Unit Testing The JUnit and MRUnit Testing Framewrks Writing Unit Tests with MRUnit Running Unit Tests Delving Deeper int the Hadp API Using the TlRunner Class Setting Up and Tearing Dwn Mappers and Reducers Decreasing the Amunt f Intermediate Data with Cmbiners Accessing HDFS Prgrammatically Using The Distributed Cache Using the Hadp API s Library f Mappers, Reducers, and Partitiners Practical Develpment Tips and Techniques Strategies fr Debugging MapReduce Cde Testing MapReduce Cde Lcally by Using LcalJbRunner Writing and Viewing Lg Files Retrieving Jb Infrmatin with Cunters Reusing Objects Creating Map-Only MapReduce Jbs Partitiners and Reducers Hw Partitiners and Reducers Wrk Tgether Determining the Optimal Number f Reducers fr a Jb Writing Custmer Partitiners NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

7 Data Input and Output Creating Custm Writable and Writable- Cmparable Implementatins Saving Binary Data Using SequenceFile and Avr Data Files Issues t Cnsider When Using File Cmpressin Implementing Custm InputFrmats and OutputFrmats Cmmn MapReduce Algrithms Srting and Searching Large Data Sets Indexing Data Cmputing Term Frequency Inverse Dcument Frequency Calculating Wrd C-Occurrence Perfrming Secndary Srt Jining Data Sets in MapReduce Jbs Writing a Map-Side Jin Writing a Reduce-Side Jin Integrating Hadp int the Enterprise Wrkflw Integrating Hadp int an Existing Enterprise Lading Data frm an RDBMS int HDFS by Using Sqp Managing Real-Time Data Using Flume Accessing HDFS frm Legacy Systems with FuseDFS and HttpFS An Intrductin t Hive, Imapala, and Pig The Mtivatin fr Hive, Impala, and Pig Hive Overview Impala Overview Pig Overview Chsing Between Hive, Impala, and Pig An Intrductin t Ozie Intrductin t Ozie Creating Ozie Wrkflws NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

8 Cludera Data Analyst Basic Data Analysis with Pig Pig Latin Syntax Lading Data Simple Data Types Field Definitins Data Output Viewing the Schema Filtering and Srting Data Cmmnly-Used Functins Prcessing Cmplex Data with Pig S trage Frmats Cmplex/Nested Data Types G ruping Built-In Functins fr Cmplex Data Iterating Gruped Data Multi-Dataset Operatins with Pig Techniques fr Cmbining Data Sets Jining Data Sets in Pig Set Operatins Splitting Data Sets Pig Trubleshting and Optimizatin Trubleshting Pig Lgging Using Hadp s Web UI Data Sampling and Debugging Perfrmance Overview NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

9 Understanding the Executin Plan Tips fr Imprving the Perfrmance f Yur Pig Jbs Intrductin t Hive and Impala What Is Hive? What Is Impala? Schema and Data Strage Cmparing Hive t Traditinal Databases Hive Use Cases Querying with Hive and Impala Databases and Tables Basic Hive and Impala Query Language Syntax Data Types Differences Between Hive and Impala Query Syntax Using Hue t Execute Queries Using the Impala Shell Data Management Data Strage Creating Databases and Tables Lading Data Altering Databases and Tables Simplifying Queries with Views String Query Results Data Strage and Perfrmance Partitining Tables Chsing a File Frmat Managing Metadata Cntrlling Access t Data NAYA Cllege הנדיב,71 הרצליה טלפון: פקס:

10 Relatinal Data Analysis with Hive and Impala Jining Datasets Cmmn Built-In Functins Aggregatin and Windwing Wrking with Impala Hw Impala Executes Queries Extending Impala with User-Defined Functins Imprving Impala Perfrmance Analyzing Text and Cmplex Data with Hive Cmplex Values in Hive Using Regular Expressins in Hive Sentiment Analysis and N-Grams Cnclusin Hive Optimizatin Understanding Query Perfrmance Cntrlling Jb Executin Plan Bucketing Indexing Data Extending Hive SerDes Data Transfrmatin with Custm Scripts User-Defined Functins Parameterized Queries Chsing the Best Tl fr the Jb Cmparing MapReduce, Pig, Hive, Impala, and Relatinal Databases Which t Chse NAYA Cllege הנדיב,71 הרצליה טלפון: פקס: