AWS Kendra 준비...

Kendra를 시작하게 된 계기

당연히 회사에서 시켜서...

자사 SaaS 서비스의 검색 기능이 멍청하여 해당 서비스의 Articles을 모두 수집하여 좀 더 똑똑하게 검색할 수 있는 기능이 필요했다.

 

Amazon Kendra 역할

Amazon Kendra는 기계 학습(ML)을 사용하여 검색 및 사용자 경험을 개선하는 자연어 검색 서비스입니다.

 

완전관리형 서비스인 Amazon Kendra에는 즉시 사용 가능한 사전 훈련된 ML 모델이 포함되어 있습니다.

 

고객은 검색 결과의 정확성 향상과 비정형 데이터를 검색하는 기능 때문에 Amazon Kendra를 선택하는 경우가 많습니다.

 

Amazon Kendra를 사용하면 여러 데이터 리포지토리를 인덱스에 연결하고 문서를 수집 및 크롤링하여 통합 검색 환경을 생성할 수 있습니다.

 

문서 메타데이터를 사용하여 풍부한 기능을 제공하는 사용자를 위한 맞춤형 검색 환경을 생성하여 사용자가 쿼리에 대한 올바른 답변을 효율적으로 찾을 수 있도록 지원할 수 있습니다.

 

[Ref] Kendra 개발자 가이드 : https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html

 

필요성?

기업 내 데이터의 약 80%는 문서, 도움말 웹 사이트, 지원 문서, 이메일과 같은 비정형 데이터입니다. 이는 이메일, 문서 관리 시스템, Wiki 콘텐츠, 워크플로 등 다양한 사일로에 걸쳐 확산 및 분산되어 있어 중앙에서 액세스 할 수 없는 경우가 많습니다.

 

가격

[Ref] 제품 페이지 : https://aws.amazon.com/ko/kendra/pricing/

 

Flow

검색 <——> Kendra <——> Kendra Index <——> connector <——> data source 1, data source 2 …

---

Ref

https://www.classcentral.com/course/amazon-kendra-getting-started-korean-264635

Free Course: Amazon Kendra Getting Started (Korean) from Amazon Web Services | Class Central

 

개인메모

Amazon Connect

 - Zendesk의 Amazon 버전이라고 생각하면 됨.

 

 - 이 위에 AI/ML 서포트 제품이 있는데 Wisdom 또한 해당 제품류 중 하나.

 

 - 통화녹음 및 STT, 각종 통계, 실시간 감정문석 등 다양한 기능 기본 제공하는듯.

 

Amazon Connect Wisdom

 - 고객 센터는 에이전트의 데스크톱 애플리케이션과는 별개의 지식 관리 시스템 및 문서 저장소를 사용하는 경우가 많으며, 이로 인해 고객과 대화하면서 답변을 찾는 데 귀중한 시간을 소비하게 되어 고객 경험이 저하됩니다.

 

 - Amazon Connect Wisdom을 사용해 에이전트는 본인의 데스크톱을 통해서 연결된 리포지토리 전체를 검색하여 신속히 답변을 찾을 수 있습니다. Wisdom은 Salesforce 및 ServiceNow 등의 서드 파티 응용 프로그램용 빌트인 커넥터를 사용해 지식 저장소에 연결됩니다. 고객은 Wisdom 수집 API를 사용하여 다른 지식 스토어에서 콘텐츠를 수집할 수도 있습니다. 고객 센터는 Connect 에이전트 애플리케이션을 사용하거나 브라우저 기반 고객 센터 통합 API인 Amazon Connect Streams를 사용해 자체 에이전트 애플리케이션에 Wisdom을 내장하여 에이전트가 Wisdom에 쉽게 액세스 할 수 있도록 할 수 있습니다.

 

 - Amazon Connect Wisdom는 미국 동부(버지니아 북부), 미국 서부(오레곤), EU(런던), EU(프랑크푸르트), 아시아 태평양(시드니), 아시아 태평양(도쿄) AWS 리전에서 제공

 

 * 결국 Wisdom은 Connect 위에서 동작하는 거 아닌가…?

 

Amazon Q

 - 회사 조직 및 정보를 조합하여 비즈니스에 대한 모든 데이터를 학습함. (컨셉, 제품명, 조직 등등…)

 

 - 모든 데이터 색인화 및 생성형 AI를 통해 의미를 학습하고 사용함.

 

 - Amazon Q는 질문에 답하고, 요약을 제공하고, 콘텐츠를 생성하고, 엔터프라이즈 시스템의 데이터와 정보를 기반으로 작업을 완료할 수 있는 생성적 AI 기반 도우미입니다. ( https://aws.amazon.com/ko/q/business-expert/ )

 

 - 사실상 영어만을 지원 (아직은…)

 

Amazon Kendra

 - 내장 커넥터를 사용하여 다양한 콘텐츠 저장소를 검색하는 데 도움이 되는 지능형 엔터프라이즈 검색 서비스입니다. ( https://aws.amazon.com/ko/kendra/ )

 

 - Amazon Kendra는 기계 학습(ML)을 통해 제공되는 지능형 검색 서비스

 

 - 한국어도 의미검색 지원하는 듯 ( https://docs.aws.amazon.com/kendra/latest/dg/in-adding-languages.html )

의미 검색을 지원하는 언어의 경우 다음 기능이 지원됩니다.

 

 - 검색된 결과에 대한 신뢰도 점수(버킷)를 제공하지만 해당 부분은 영어만 지원.

 

 -  AWS AI 서비스를 사용하여 Kendra에서 지원하는 포맷으로 자료를 변환한 뒤 데이터 소스에 등록하여 검색이 가능하도록 구현이 가능 << 음성 및 영상, 이미지

EX) Website > AWS Lambda Crawling > S3 Data Source <-> Kendra

Image > Amazon Recognition >  S3 Data Source <-> Kendra

Voice & Video > Amazon Transcribe >  S3 Data Source <-> Kendra

 

 - Kendra ref) https://aws.amazon.com/ko/blogs/tech/building-search-foralltype-amazon-kendra/

 

 - Result

- 기본적인 검색은 잘 동작함.

- Sample data 경우 AI를 활용했다고 할 정도로 똑똑한지는 의문.

다양한 데이터를 적재 후 확인이 필요.

- 검색 속도 또한 데이터를 충분히 적재한 후 확인 필요.

 

 

 

 

 

 

 

 

---

https://seokbong.tistory.com/232

AWS Zendesk에 Kendra 끼얹기