본문 바로가기
----------책----------/자연어처리 바이블

5장 어휘 분석

by 탶선 2020. 10. 19.
반응형
  • 어휘 분석
    • 단어의 구조를 식별하고 분석함으로써 어휘의 의미와 품사에 관한 단어 수준의 연구

 

  • 형태소 분석 
    • 형태소 - 더 이상 분해될 수 없는 최소한의 의미를 갖는 단위
    • 최소한의 의미를 갖는 단위인 형태소를 사용해 단어가 어떻게 형성되는지에 대해 자연어의 제약 조건과 문법 규칙에 맞춰 분석하는 것
  • 형태소 분석 절차
    1. 단어에서 최소 의미를 포함하는 형태소 분리
    2. 형태론적 변형이 일어난 형태소의 원형 찾기
    3. 단어와 사전들 사이의 결합 조건에 따라 옳은 분석 후보 선택
  • 품사 태깅
    • 품사 - 단어의 기능, 형태, 의미에 따라 나눈 것
    • 태깅 - 같은 단어에 대해 의미가 다를 경우(중의성) 부가적인 언어의 정보를 부착하는 것
    • 품사 태깅 - 문서 또는 문장을 이루고 이쓴 각 단어에 정확한 하나의 품사를 부여하는 것

 

# 본 게시글은 자연어처리 바이블을 읽고 게시하였습니다 #

 

반응형

'----------책---------- > 자연어처리 바이블' 카테고리의 다른 글

7장 의미 분석  (0) 2020.10.21
6장 구문 분석  (0) 2020.10.19
4장 텍스트의 전처리  (0) 2020.10.15
3장 언어학의 기본 원리  (0) 2020.10.15
2장 자연어처리를 위한 수학  (0) 2020.09.13

댓글