Global Vendors Training

Home > > 전체교육일정

Cloudera

Cloudera Training for Apache Kafka

교육일정
교육기간
4일
교육금액
2,394,000원(부가세별도)
Cloudera전체일정보기 수강신청

교육개요

본 과정은 Apache Kafka를 소개하고 주요 개념과 아키텍처를 설명하며 몇 가지 일반적인 사용 사례를 논의하는 것으로 시작됩니다. 이러한 기반을 바탕으로 Kafka 배포를 계획하는 방법을 배우고, Cloudera Data Platform (CDP)에서 Kafka를 실행하는 클라우드 기반 다중 노드 클러스터를 설치하고 구성하는 실습 경험을 할 수 있습니다.
그런 다음 만들어진 클러스터를 사용하여 Kafka 주제, 제작자 및 소비자를 만드는 방법부터 다양한 필수 기술을 다루는 20 개 이상의 실습을 진행합니다. 그런 다음 확장성, 안정성 및 성능 문제와 관련된 Kafka 운영 및 개발 고급 기술들을 학습합니다. 이 과정을 통해 Cloudera Manager, Schema Registry, Streams Messaging Manager 및 Cruise Control을 포함하여 Kafka 작업을 위한 Cloudera의 권장 도구를 배우고 사용하게 됩니다.



교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.
- Kafka 클러스터 계획, 배포 및 운영
- 주제(topics) 생성 및 관리
- 생산자와 소비자 개발
- 복제를 사용하여 내결함성(fault tolerance) 향상
- 파티셔닝을 사용하여 확장성(scalability) 향상
- 일반적인 문제 및 성능 문제 해결



수강대상

시스템 관리자, 데이터 엔지니어, 개발자



선수과목

리눅스 기본 사용
Java 프로그래밍 기본 능력
Apache Kafka 경험을 필요로 하지는 않음



강의내용

1. Kafka Overview
-High-Level Architecture
-Common Use Cases
-Cloudera's Distribution of Apache Kafka

2. Deploying Apache Kafka
System Requirements and Dependencies
Service Roles
Planning Your Deployment Deploying Kafka Services
Exercise: Preparing the Exercise Environment
Exercise: Installing the Kafka Service with Cloudera Manager
Exercise (optional): Create Metrics Dashboards
Exercise (optional): Using the CM API

3. Kafka Command Line Basics
Create and Manage Topics
Running Producers and Consumers

4. Using Streams Messaging Manager (SMM)
Streams Messaging Manager Overview
Producers, Topics, and Consumers
Data Explorer
Brokers
Topic Management
Exercise: Managing Topics using the CLI
Exercise: Connecting Producers and Consumers from the Command Line

5. Kafka Java API Basics
Overview of Kafka's APIs
Topic Management from the Java API
Exercise (optional): Managing Kafka Topics Using the Java API
Using Producers and Consumers from the Java API
Exercise: Developing Producers and Consumers with the Java API

6. Improving Availability through Replication
Replication
Exercise: Observing Downtime Due to Broker Failure
Considerations for the Replication Factor
Exercise: Adding Replicas to Improve Availability

7. Improving Application Scalability
Partitioning
How Messages are Partitioned
Exercise: Observing How Partitioning Affects Performance
Consumer Groups
Exercise: Implementing Consumer Groups
Consumer Rebalancing
Exercise: Using a Key to Control Partition Assignment

8. Improving Application Reliability
Delivery Semantics
Demonstration (optional): ISRs vs. ACKs
Producer Delivery
Exercise: Idempotent Producer
Transactions
Exercise: Transactional Producers and Consumers
Handling Consumer Failure
Offset Management
Exercise: Detecting and Suppressing Duplicate Messages
Exercise: Handling Invalid Records
Handling Producer Failure

9. Analyzing Kafka Clusters with SMM
End-to-End Latency
Notifiers
Alert Policies
Use Cases

10. Monitoring Kafka
Monitoring Overview
Monitoring using Cloudera Manager
Charts and Reports in CM
Monitoring Recommendations
Metrics for Troubleshooting
Diagnosing Service Failure
Exercise: Monitoring Kafka

11. Managing Kafka
Managing Kafka Topic Storage
Demonstration (optional): Message Retention Period
Log Cleanup and Collection
Rebalancing Partitions
Cruise Control
Exercise: Installing Cruise Control
Exercise: Troubleshooting Kafka Topics
Unclean Leader Election
Exercise: Unclean Leader Election
Adding and Removing Brokers
Exercise: Adding and Removing Brokers
Best Practices

12. Message Structure, Format, and Versioning
Message Structure
Schema Registry
Defining Schemas
Schema Evolution and Versioning
Schema Registry Client
Exercise: Using an Avro Schema

13. Improving Application Performance
Message Size
Batching
Compression
Exercise: Observing How Compression Affects Performance

14. Improving Kafka Service Performance
Performance Tuning Strategies for the Administrator
Cluster Sizing
Exercise: Planning Capacity Needed for a Use Case

15. Securing the Kafka Cluster
Encryption
Authentication
Authorization
Auditing