NLP(Natural Language Process) - 필수 용어 및 개념 정리(2)
pre-processing(전처리) 한국어 전처리 한글 데이터 사용 시, 띄어쓰기, 맞춤법이 틀린 경우가 많음 ex) 비표준어, 맞춤법 무시, 특수문자, 이모지 처리 부정의 부정, 모호 표현, 채널의 분리 전처리 : 데이터를 분석 및 처리에 적합한 형태로 만드는 과정을 총칭 형태소 분석 = Pos Tag(품사 태깅) 형태소 분석 : 형태소를 분석하는 모든 행위 품사 태깅 : 형태소의 품사를 붙이는 역할까지 품사를 붙이는 행위, 형태소 분석과 동의어로 사용되나 조금의 차이 존재 stop word(불용어) 자주 나오지만, 문구의 의미에 실질적 의미가 없는 단어 ex) 윙윙, 오호, 이러한 …. 불용어 제거 정제 및 정규화에서 의미가 없어 불필요한 단어를 제거하는 것 목적에 따라 필요한 단어, 불필요한 단어가..
2024. 1. 15.