분류 전체보기
-
AWS EventBridge로 Lambda 특정 주기(시간)마다 호출하기DEV/aws 2024. 1. 19. 13:57
저번에 만든 Lambda는 매 시간마다 특정 서버를 확인하기 위해 만들었다. 처음 알았지만 Lambda는 특정 시간마다 함수를 실행하는 자체 기능은 없다는것을 알았다. (당연히 있을줄...) 이러한 자동화를 해결해 주기 위한 AWS 서비스 EventBridge가 존재한다. AWS Console에서 EventBridge의 scheduler를 들어가자. https://us-east-1.console.aws.amazon.com/scheduler/home?region=us-east-1#schedules https://us-east-1.console.aws.amazon.com/scheduler/home?region=us-east-1#schedules us-east-1.console.aws.amazon.com 이후..
-
AWS Lambda Node로 axios require 해보기, 함수 만들기 부터...DEV/aws 2024. 1. 19. 11:32
1. 함수 만들기 우선 Amazon console에서 Lambda를 선택하여 들어가자. https://console.aws.amazon.com https://console.aws.amazon.com/console/home console.aws.amazon.com 문제는 지금부터... 본인은 Node로 Lambda를 구성하던 중 "const axios = require('axios');" 부분이 에러가 발생했다. 찾아보니 Lambda에서 외부 패키지를 사용하려면 "node_modules" 폴더를 Lambda의 Layers에 올려야 한다고 함. (npm install을 한다던가... 자동으로 불러온다던가 하는 방식 X) https://docs.aws.amazon.com/ko_kr/lambda/latest/d..
-
NLP 4. 불용어(Stopword), 정수 인코딩(Integer Encoding), 패딩(Padding)DEV/nlp 2024. 1. 17. 15:21
불용어(Stopword) - 데이터 중 유의미한 단어 토큰만 선별하기 위해 큰 의미가 없는 단어 토큰을 제거하는 작업이 필요함. - 자주 등장하지만 분석에 있어서 큰 도움이 되지 않는 단어들을 제거. 정수 인코딩(Integer Encoding) - 컴퓨터는 텍스트보다 숫자를 더 잘 처리함. - 자연어 처리에서는 텍스트를 숫자로 맵핑(mapping) 시키는 기법을 많이 사용함. - 보통은 단어 빈도수를 기준으로 정렬(인덱싱)함. 패딩(Padding) - 서로 다른 문장의 길이를 맞춰주는 작업. (행렬 작업을 위해) - Numpy나 tensorflow.keras.preprocessing.sequence의 pad_sequences 등을 사용하여 작업. functions - 영어의 불용어 : nltk.corpu..
-
NLP 3. 어간 추출(Stemming) / 표제어 추출(Lemmatization)DEV/nlp 2024. 1. 17. 15:08
어간 추출(Stemming) / 표제어 추출(Lemmatization) - 서로 다른 단어들이지만, 하나의 단어로 일반화시킬 수 있다면 하나의 단어로 일반화시켜 문서 내 단어수를 줄이는 과정 표제어 추출 - 단어의 형태가 다르더라도 같은 뿌리를 가지고 있는 경우 뿌리를 찾아 단어의 개수를 줄일 수 있는지 판단. - ex) am, are, is —> be (표제어는 be) 어간 추출 - 어간을 추출하는 작업 functions - 영어의 표제어 추출 : nltk.stem의 WordNetLemmatizer - 영어의 어간 추출 : nltk.stem의 PorterStemmer, LancasterStemmer https://seokbong.tistory.com/240 NLP 4. 불용어(Stopword) 불용어(..
-
NLP 2. 정제(Cleaning) / 정규화(Normalization)DEV/nlp 2024. 1. 17. 14:50
정제(Cleaning) / 정규화(Normalization) - 토큰화 전, 후 데이터 용도에 맞게 정제 및 정규화를 하게 됨. - 정제(Cleaning) : 갖고 있는 코퍼스로부터 노이즈를 제거 - 정규화(Normalization) : 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만듬 - 완벽한 정제 작업은 어렵기 때문에 적당선에서 종료하는 경우가 많음 https://seokbong.tistory.com/239 NLP 3. 어간 추출(Stemming) / 표제어 추출(Lemmatization) 어간 추출(Stemming) / 표제어 추출(Lemmatization) - 서로 다른 단어들이지만, 하나의 단어로 일반화시킬 수 있다면 하나의 단어로 일반화시켜 문서 내 단어수를 줄이는 과정 표제어 추출 -..