Global Vendors Training

Home > Global Vendors Training > 전체교육일정

Cloudera

Cloudera DataFlow: Flow Management with Apache NiFi

교육일정
교육기간
3일
교육금액
1,914,000원(부가세포함)
Cloudera전체일정보기 수강신청

교육개요

3일간 진행되는 본 과정은 Apache NiFi를 사용하여 데이터의 수집, 흐름, 변환 및 송신을 자동화하는 데 필요한 기본 개념과 실습을 통한 경험을 제공합니다
NiFi의 주요 기능, 개념 및 이점을 파악하는 것과 함께 다양한 시나리오에 대한 NiFi 데이터 흐름을 만들고 실행해 볼 수 있습니다. 프로세서, 연결 및 프로세스 그룹을 사용하여 전문 지식을 습득하고 NiFi Expression Language를 사용하여 다양한 소스에서 여러 대상으로의 데이터 흐름을 제어합니다. 또한 데이터 흐름을 모니터링하고, 데이터 흐름을 통해 데이터의 진행 상황을 조사하고, 데이터 흐름을 Kafka 및 HDFS와 같은 외부 시스템에 연결합니다. 이 과정을 수강하면 기업의 데이터 수집, 이동 및 변환 시나리오를 구성하고 관리하기위한 핵심 지식과 전문 지식을 갖게 됩니다.



교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.
- Cloudera DataFlow 플랫폼에서 Apache NiFi 및 MiNiFi의 역할 이해
- 독립형 및 클러스터 구성을 포함한 NiFi의 아키텍처 설명
- FlowFiles, 프로세서, 프로세스 그룹, 컨트롤러 및 연결을 포함한 주요 기능을 사용하여 NiFi 데이터 흐름을 정의
- NiFi 사용자 인터페이스로 데이터 흐름을 탐색, 구성하고 데이터 흐름 정보를 사용
- 데이터 출처를 사용하여 데이터의 수명, 출처, 변환 및 대상 추적
- 데이터 흐름 구성 및 단순화
- NiFi 레지스트리를 사용하여 데이터 흐름 버전 관리
- NiFi 표현식 언어를 사용하여 데이터 흐름 제어
- 데이터 흐름 최적화 방법과 사용 가능한 모니터링 및보고 기능 구현
- Kafka 및 HDFS와 같은 다른 시스템과 데이터 흐름 연결
- NiFi 보안의 측면 설명



수강대상

개발자, 데이터 엔지니어, 데이터 과학자, 데이터 스튜어드



선수과목

리눅스 기본 경험
빅데이터 개념 및 애플리케이션에 대한 기본 이해



강의내용

1. Cloudera Flow Management 소개
-Cloudera Flow Management 및 NiFi 개요
-NiFi 사용자 인터페이스

2. 프로세서
-프로세서 개요
-프로세서 표면 패널
-프로세서 구성

3. Connections
-Connections 개요
-Connection 구성
-Connector Context 메뉴

4. 데이터 흐름 (Dataflows)
-명령 및 데이터 흐름의 제어
-프로세서 관계
-Back Pressure
- Prioritizers
- Labels

5. 프로세스 그룹
-프로세스 그룹의 구조
-입력 및 출력 포트

6. FlowFile Provenance
-Data Provenance Events
-FlowFile Lineage(계보)
-FlowFile 재생

7. 데이터 흐름(Dataflow) 템플릿
-템플릿 개요
-템플릿 관리

8. Apache NiFi 레지스트리
-Apache NiFi 레지스트리 개요
-레지스트리 사용

9. FlowFile 속성
-FlowFile 속성
-속성 라우팅

10. NiFi Expression Language
-NiFi Expression Language 개요
-Syntax
-Expression Language 편집기
-조건부 값 설정

11. 데이터 흐름 최적화
-데이터 흐름 최적화
-제어율
-컴퓨팅 관리

12. NiFi 아키텍처
-NiFi 아키텍처 개요
-클러스터 아키텍처
-하트 비트
-클러스터 관리

13. Site-to-Site 데이터 흐름
-Site-to-Site 이론
-Site-to-Site 아키텍처
-원격 프로세스 그룹 분석
-원격 프로세스 그룹 추가 및 구성

14. Cloudera Edge 관리 및 MiNiFi
-MiNiFi 개요
-예제 연습

15. 모니터링 및 보고
-NiFi에서 모니터링
-보고 개요
-일반적인 보고 작업의 예

16. 컨트롤러 서비스
-컨트롤러 서비스 개요
-공통 컨트롤러 서비스

17. Cloudera 생태계와 NiFi 통합
-NiFi 통합 아키텍처
-NiFi 에코 시스템 프로세서
-NiFi 및 Apache Hive 자세히 살펴보기
-NiFi 및 Apache Kafka 자세히 살펴보기

18. NiFi 보안
-NiFi 보안 개요
-NiFi UI에 대한 액세스 보안
-인증(Authentication)
-Kerberos의 중요성
-NiFi 레지스트리 보안
-NiFi 보안 요약