전체교육일정
교육개요
이 과정에서는 언어 처리와 빅데이터, 벡터화의 발전 과정을 통해 검색 엔진이 어떻게 진화했는지, AI를 사용하여 검색 엔진의 성능을 어떻게 향상시킬 수 있는지를 배웁니다. 인공지능 기술과 RAG 아키텍처를 활용한 서비스 분야의 활용 방법도 학습합니다. 데이터를 정제하고 벡터화하는 과정, OpenAI API를 사용하여 데이터를 벡터로 변환하는 실습을 진행합니다. Vector DB의 선택과 Chroma를 활용한 환경 설정 방법, Faiss를 이용한 검색 속도 향상 원리와 GPU 최적화 방법도 다룹니다. 끝으로, 연습 데이터를 사용한 Faiss 검색 속도 개선 실습을 통해 실제로 성능 향상을 경험하고, 그 결과를 시각화하는 방법을 배울 것입니다. AI의 파워로 검색 기술을 한 단계 업그레이드하고 싶은 분들에게 이 강의는 완벽한 선택입니다!
교육목표
Vector DB와 Chroma를 포함한 현대적인 데이터 관리 및 검색 시스템의 기본 원리를 이해할 수 있습니다.
강의내용
[Chapter1. 검색엔진의 발달]
· 학습 목표
언어처리와 빅데이터의 영향, 벡터를 활용한 발전과정과 주요 기법, 그리고 인공지능을 이용한 성능 향상 방법에 대해 학습합니다.
· 주요 내용
1. 언어처리에서의 검색 엔진 원리
2. 빅데이터와 AI가 검색 엔진에 끼친 영향
3. 벡터를 사용한 검색 엔진의 발달(BOW부터 TF-IDF)
4. 인공지능을 사용한 검색 엔진의 발달
[Chapter2. 서비스에서의 Vector DB]
· 학습 목표
인공지능 기술이 서비스 분야에서의 활용 방법과 RAG 아키텍처를 활용하여 서비스 성능을 개선하는 방법을 학습합니다.
· 주요 내용
1. 인공지능 기술의 발달
2. RAG를 이용한 성능 개선
[Chapter3. Vector DB 만들기]
· 학습 목표
데이터 정제 및 벡터화 과정을 이해하고 구현하며, OpenAI API를 활용하여 데이터를 벡터로 변환하는 방법을 학습합니다.
· 주요 내용
1. pypdf를 통한 데이터 정제
2. Openai API를 활용한 데이터 임베딩 벡터 얻기
3. 사용자 질의에 답을 얻는 AI 활용해보기
[Chapter4. Chroma의 특성과 사용법]
· 학습 목표
다양한 Vector DB의 특징과 성능을 비교하여 이해하고, 이후에는 Chroma를 사용하여 Vector DB를 설정하고 활용하는 방법을 학습합니다.
· 주요 내용
1. 여러가지 Vector DB 소개 및 비교
2. Chroma를 통한 Vector DB 환경설정
[Chapter5. Chroma를 사용한 AI 서비스 만들기]
· 학습 목표
Dramas Dataset을 활용하여 드라마 검색 서비스를 구축하고, 이를 통해 AI를 사용하여 서비스의 정확도와 성능을 향상시키는 방법을 학습합니다.
· 주요 내용
1. 드라마 검색 서비스 만들기
2. 데이터: Kaggle Korean Dramas Dataset
[Chapter6. Faiss를 사용한 검색속도 개선]
· 학습 목표
Faiss를 활용하여 검색 속도를 개선하는 기본 원리와 알고리즘을 이해하고, 다양한 알고리즘을 비교하여 검색 속도를 향상시키는 방법을 학습합니다.
· 주요 내용
1. Faiss 소개 및 기본 원리
2. 검색속도 개선 알고리즘 비교 (Flat, LSH, IVF, HNSW)
[Chapter7. Faiss의 특성과 사용법]
· 학습 목표
Faiss를 활용하여 검색 속도를 개선하는 알고리즘과 기능을 이해하고, 또한 GPU를 사용하여 Faiss를 최적화하여 검색 속도를 개선하는 방법을 학습합니다.
· 주요 내용
1. 검색속도 개선 알고리즘
2. GPU를 사용한 연산 속도 개선
[Chapter8. 검색속도 개선 실습]
· 학습 목표
주어진 연습 데이터를 활용하여 Faiss를 적용하여 검색 속도를 개선하는 실습을 진행하고, 이를 통해 개선된 검색 속도의 성능을 시각화하여 확인하는 방법을 학습합니다
· 주요 내용
1. 연습 데이터를 활용한 검색 속도 개선 실습
2. 성능 확인 시각화하기