전체교육일정
교육개요
과정명이 변경되었습니다
기존 : Cloudera Data Flow powered by Apache NiFi
변경된 과정명 : DOPS-242: Ingesting with Cloudera DataFlow
데이터 중심 기업의 가장 중요한 기능 중 하나는 복잡한 생태계 전반에서 수집 및 데이터 흐름을 관리하는 기능입니다. NiFi를 사용하여 데이터의 입력, 흐름, 변환 및 출력을 자동화하는데 필요한 기본 개념과 환경을 제공합니다.
또한 이 과정에서는 데이터 흐름 프로세스를 조정, 문제 해결 및 모니터링하고 Cloudera CDP Hybrid 에코시스템과 외부 시스템 내에서 데이터 흐름을 통합하는 방법에 대해서도 다룹니다.
교육목표
본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.
- 데이터 흐름 정의, 구성, 구성 및 관리
- 데이터가 대상으로 이동할 때 변환 및 추적
- NiFi 레지스트리를 사용하여 데이터 흐름 변경 추적
- NiFi Expression Language를 사용하여 데이터 흐름 제어
- 데이터 흐름을 최적화하여 성능 및 유지보수 향상
- Apache Kafka, Apache Hive 및 HDFS와 같은 다른 시스템과 데이터 흐름 연결
- 데이터 흐름 서비스 활용
수강대상
개발자, 데이터 엔지니어, 데이터 과학자, 데이터 스튜어드
선수과목
리눅스 기본 경험
빅데이터 개념 및 애플리케이션에 대한 기본 이해
강의내용
1. Cloudera Flow Management 소개
- Cloudera Data-in-Motion 개요
- NiFi 사용자 인터페이스
- DataFlow Catalog
- ReadyFlows
2. 프로세서
- 프로세서 개요
- 프로세서 표면 패널
- 프로세서 구성
3. Connections
- 연결 개요
- 연결 구성
- Connector Context Menu
4. 데이터 흐름(Dataflows)
- 데이터 흐름의 명령 및 제어
- 프로세서 관계
- Back Pressure
- Prioritizers
- Labels
5. 프로세스 그룹
- Anatomy of Process Group
- 입력 및 출력 포트
6. FlowFile Provenance
- Data Provenance Events
- FlowFile Lineage
- Replaying a FlowFile
7. Parameters
- Parameter Contexts
- Referencing Parameters
- Managing Parameters
- Migrating from Variables
8. Flow Definitions and Templates
- Flow Definition Overview
- Creating a Flow Definition
- Importing and Deploying a Flow
- Using (migrating from) Templates
9. Apache NiFi Registry
- Apache NiFi egistry Overview
- Using the Registry
10. FlowFile Attributes
- FlowFile Attribute Overview
- Routing on Attributes
11. NiFi Expression Language
- NiFi Expression Language Overview
- Syntax
- Expression Language Editor
- Setting Conditional Values
12. Controller Services
- Controller Services Overview
- Common Controller Services
13. Record-based Components
- Record-oriented data
- Record-based Processors
- Avro Schema Registry
- Schema Format
14. Reading and Writing Record Data
- Querying Record Data
- QueryRecord Processor
- Writing Record Data
15. Enriching Record Data
- ETL Operations
- Split and Join Processor
- Update Record Processors
- Wait and Notify Processors
16. NiFi Architecture Overview
- NiFi Architecture Overview
- Public Cloud Architecture
- Private Cloud Architecture
17. DataFlow Functions
- Overview
- Serverless functions
18. Dataflow Optimization
- Dataflow Optimization
- Control Rate
- Managing Compute
19. Monitoring, Reporting, and Troubleshooting
- Monitoring from NiFi
- Reporting
- Examples of Common Reporting Tasks
20. NiFi Security
- NiFi Security Overview
- Securing Access to the NiFi UI
- Metadata Management
21. Integrating NiFi
- NiFi Integration Architecture
- Available ReadyFlows
- A Closer Look at NiFi and Apache Hive