분류 전체보기
-
NLP 1. 토큰화 (Tokenization)DEV/nlp 2024. 1. 17. 14:16
자연어 처리 - 자연어 처리에서 수집한 데이터(코퍼스)는 보통의 경우 전처리가 필요함. - 용도에 맞게 토큰화(Tokenization), 정제(cleaning), 정규화(normalization)가 필요함. 토큰화 (Tokenization) - 단어 토큰화(word tokenization) : 토큰을 단어(word)를 기준으로 잡는 경우 (단어 단위로 분리함) - 토큰화 기준은 상황에 따라 달라짐 - 예를 들어 단어 토큰화의 경우 띄어쓰기(whitespace) 기준으로 작업을 할 수 있으며 구두점(punctuation)을 제외할지, 다른 방법으로 토큰화할지는 작업에 따라 달라짐. - ‘(apostrophe)가 있는 경우 어떻게 토큰화를 할 것인가? (don’t, Jone’s 등등…) - 토큰화 방식에 따..
-
AWS Lambda란...?DEV/aws 2024. 1. 17. 11:27
AWS Lambda - 서버 프로비저닝 또는 관리, 워크로드 인식 크러스터 확장 로직 생성, 이벤트 통합 유지 또는 런타임 관리 없이 코드 실행 (관리없이 코드를 실행할 수 있게 해주는 컴퓨팅 서비스) - 사실상 모든 유형의 애플리케이션, 백엔드 서비스에 대한 코드 실행 - ZIP 파일 또는 컨테이너 이미지로 업로드 하면 Lambda가 자동으로 컴퓨팅 실행 능력 할당 및 모든 트래픽 규모에 대하여 수신 요청 또는 이벤트 기반 코드 실행 - Node JS, Python, Go, Java 등을 지원하며 서버리스 및 컨테이너 도구(AWS SAM or Docker CLI)를 사용하여 기능 구축, 테스트 및 배포 - Lambda 서비스는 필요할 때만 함수를 실행하고 자동으로 확장함. - 사용한 시간만큼만 비용을 ..
-
AWS Amazon Connect App @amazon-connect/app 설정DEV/aws 2024. 1. 15. 14:27
Amazon Connect Agent Workspace의 document를 참고하였고 React에 올려서 테스트하였다. 1. React app 생성 https://seokbong.tistory.com/116 React node로 react app 만들기 및 실행 *node가 설치되어 있어야 함. react app을 만드는 명령어는 다음과 같다. npx create-react-app [앱 이름] 설치 후 하단 명령어를 통해 해당 폴더로 진입 및 실행 cd [앱 이름] npm start https://reactjs.org/docs/create- seokbong.tistory.com 2. Amazon-connect/app설치 // 생성한 React app 내부 진입 후 npm install --save @am..
-
AWS Bedrock이란..?DEV/aws 2024. 1. 12. 15:03
Amazon bedrock - Amazon 고성능 Foundation Model(FM)을 API를 통해 사용 가능한 완전 관리형 서비스 - 다양한 기본 모델을 지원 - 필요한 서비스에 맞는 모델을 선택하여 사용 가능하며 모델에 따라 Fine-tuning을 지원 - 보안, 개인 정보 보호 및 AI 애플리케이션 구축 기능 세트 제공 - RAG(Retrieval Augmented Generation) - LLMs 능력을 확장하여 사용자의 질문이나 요청에 대해 더욱 신뢰할 수 있고 정보가 풍부한 답변을 제공할 수 있도록 도움 - LLM과 정보 검색 시스템을 결합하여 사용자 질문에 답변할 때 필요한 정보를 외 데이터베이스에서 검색할 수 있도록 하여 답변을 제공함 - Hallucination를 억제할 수 있음 - ..
-
AWS Kendra SDK(Vanilla javascript) 기본 설정 - CDN, Client, QueryCommandDEV/aws 2024. 1. 12. 14:40
CDN // NPM으로 받아서 사용하는 것을 더 추천한다. // HTML에서 Module로 불러와주자. * // Vanilla javascript에서 불러오기 import { KendraClient, QueryCommand } from "https://cdn.skypack.dev/@aws-sdk/client-kendra"; Client 호출 /** * region : 본인 AWS Region 코드로 수정해주면 된다. * ap-northeast-1는 도쿄임. */ const region = "본인 AWS의 설정된 Region"; /** * credentials : 본인 AWS Access key, Secret access key * 유출되지 않게 주의하자 (public git 이라던가...) */ cons..