1장 자연어처리의 기본

• 자연어(Natural Language)
  • 일상샐활에서 사용되는 언어
• 자연어처리(Natural Language Processing, NLP)
  • 컴퓨터가 자연어를 이해하거나 생성할 수 있도록 하는 학문 분야
• 자연어 이해(Natural Language Understanding, NLU)
  • 자연어를 입력으로 받아들여 목적에 맞게 내부적으로 처리해내는 과정
• 자연어 생성(Natural Language Generation, NLG)
  • 자연어를 출력으로 처리

자연어처리의 과정

 

자연어처리의 어려움

• 언어의 중의성
  • 맥락에 따라 해석의 여지가 달라질 수 있는 것
• 규칙의 예외
  • 구절이나 문장 안에서 단어와 형태소가 구성되는 방법을 정리하고자 해도, 항상 예외가 존재
• 언어의 유연성과 확장성
  • 문장의 수와 길이가 무한하다.
  • 언어 모델링 처리의 불확실성 ↑

 

자연어처리 연구의 패러다임

• 규칙 기반
  • 언어의 문법적인 규칙을 사전에 정의해두고 그것에 기반하여 자연어 처리하는 방식
• 통계 기반
  • 언어의 규칙이 있다는 전제하에(형태소 사이에 상관관계) 통계적으로 찾아 분석하는 방법
• 딥러닝 기반
  • 기계학습
  • 딥러닝

 

딥러닝을 사용하는 자연어처리 연구

• 단어 임베딩
  • 문장의 형태소 단위 분해할 때 쓰이는 전처리 과정
  • 각 형태소를 벡터로 변환하는 방법
    • 높은 차원의 벡터로 바꾸며 비슷한 단어들은 벡터 간 거리를 가깝게 위치하게 하여 비슷한 관계를 가진 단어쌍 간의 거리와 방향을 비슷하게 하는 방법

단어 임베딩 예시......출처 : https://developers.google.com/machine-learning/crash-course/embeddings/translating-to-a-lower-dimensional-space?hl=ko

• 코퍼스(corpus)
  • 통계, 딥러닝 기반의 자연어처리에서 사용되는 많은 수의 문장 모음

 

본 게시글은 자연어처리 바이블 핵심이론 응용시스템 딥러닝을 읽고 게시하였습니다.