AWS Bedrock이란..?
Amazon bedrock
- Amazon 고성능 Foundation Model(FM)을 API를 통해 사용 가능한 완전 관리형 서비스
- 다양한 기본 모델을 지원
- 필요한 서비스에 맞는 모델을 선택하여 사용 가능하며 모델에 따라 Fine-tuning을 지원
- 보안, 개인 정보 보호 및 AI 애플리케이션 구축 기능 세트 제공
- RAG(Retrieval Augmented Generation)
- LLMs 능력을 확장하여 사용자의 질문이나 요청에 대해 더욱 신뢰할 수 있고 정보가 풍부한 답변을 제공할 수 있도록 도움
- LLM과 정보 검색 시스템을 결합하여 사용자 질문에 답변할 때 필요한 정보를 외 데이터베이스에서 검색할 수 있도록 하여 답변을 제공함
- Hallucination를 억제할 수 있음
- Ex)
->Input + Query
-> Query로 Database 및 저장소에서 Data 검색
-> 검색 결과(Data) + Input (+Prompt)로 LLM에 질문
-> LLM이 respnse를 generate
AWS Bedrock은 Custom model 지원 (특정 모델만 지원)
- Fine-Tuning을 하거나 Continued Pre-training을 할 수 있음
- Amazon S3 bucket
Continued Pre-training Model
- 레이블이 지정되지 않은 새로운 데이터로 모델 학습이 가능
- 사전 훈련을 통해 기본 모델에 아직 존재하지 않는 새로운 지식을 학습
- LLM에 공개적으로 사용할 수 없는 비지니스 문서와 같은 개인 데이터를 사용하여 학습할 수 있음
- 학습 이후에도 추가 학습이 가능함
- Titan Text G1 Express 및 Lite 지원
- Training data input
{"input": "<input text>”}
{"input": "<input text>"} …
Fine-Tuned Model
- 레이블이 지정된 데이터 세트로 학습
- Training data input
{"prompt": "<prompt text>", "completion": "<expected generated text>”}
{"prompt": "<prompt text>", "completion": "<expected generated text>”}
Ref.
[1]. Amazon Bedrock : https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html
[2]. Customize models in Amazon Bedrock with your own data using fine-tuning and continued pre-training : https://aws.amazon.com/ko/blogs/aws/customize-models-in-amazon-bedrock-with-your-own-data-using-fine-tuning-and-continued-pre-training/
[3]. fine tuning data format : https://aws.amazon.com/ko/blogs/aws/customize-models-in-amazon-bedrock-with-your-own-data-using-fine-tuning-and-continued-pre-training/
[4]. JSONL(LINE) Format validator : https://jsonlines.org/validator/
[5]. About format Error (Data files must conform to JSONL format) :
https://docs.aws.amazon.com/bedrock/latest/userguide/fine-tuning-troubleshooting.html
[6]. Bedrock pricing : https://aws.amazon.com/ko/bedrock/pricing/