AWS Bedrock이란..?

Amazon bedrock

 - Amazon 고성능 Foundation Model(FM)을 API를 통해 사용 가능한 완전 관리형 서비스

 - 다양한 기본 모델을 지원

 - 필요한 서비스에 맞는 모델을 선택하여 사용 가능하며 모델에 따라 Fine-tuning을 지원

 - 보안, 개인 정보 보호 및 AI 애플리케이션 구축 기능 세트 제공

 - RAG(Retrieval Augmented Generation)

    - LLMs 능력을 확장하여 사용자의 질문이나 요청에 대해 더욱 신뢰할 수 있고 정보가 풍부한 답변을 제공할 수 있도록 도움

    - LLM과 정보 검색 시스템을 결합하여 사용자 질문에 답변할 때 필요한 정보를 외 데이터베이스에서 검색할 수 있도록 하여 답변을 제공함

    - Hallucination를 억제할 수 있음

    - Ex)

        ->Input + Query

        -> Query로 Database 및 저장소에서 Data 검색

        -> 검색 결과(Data) + Input (+Prompt)로 LLM에 질문

        -> LLM이 respnse를  generate

---

 

AWS Bedrock은 Custom model 지원 (특정 모델만 지원)

 - Fine-Tuning을 하거나 Continued Pre-training을 할 수 있음

 - Amazon S3 bucket

 

Continued Pre-training Model

 - 레이블이 지정되지 않은 새로운 데이터로 모델 학습이 가능

 - 사전 훈련을 통해 기본 모델에 아직 존재하지 않는 새로운 지식을 학습

 - LLM에 공개적으로 사용할 수 없는 비지니스 문서와 같은 개인 데이터를 사용하여 학습할 수 있음

 - 학습 이후에도 추가 학습이 가능함

 - Titan Text G1 Express 및 Lite 지원

 - Training data input

{"input": "<input text>”}

{"input": "<input text>"} … 

 

 

Fine-Tuned Model

 - 레이블이 지정된 데이터 세트로 학습

 - Training data input

{"prompt": "<prompt text>", "completion": "<expected generated text>”}

{"prompt": "<prompt text>", "completion": "<expected generated text>”}

---

Ref.

[1]. Amazon Bedrock : https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html

[2]. Customize models in Amazon Bedrock with your own data using fine-tuning and continued pre-training : https://aws.amazon.com/ko/blogs/aws/customize-models-in-amazon-bedrock-with-your-own-data-using-fine-tuning-and-continued-pre-training/

[3]. fine tuning data format : https://aws.amazon.com/ko/blogs/aws/customize-models-in-amazon-bedrock-with-your-own-data-using-fine-tuning-and-continued-pre-training/

[4]. JSONL(LINE) Format validator : https://jsonlines.org/validator/

[5]. About format Error (Data files must conform to JSONL format) :

https://docs.aws.amazon.com/bedrock/latest/userguide/fine-tuning-troubleshooting.html

[6]. Bedrock pricing : https://aws.amazon.com/ko/bedrock/pricing/