[ NLP ] 기계 이해

기계 이해란?

: 기계가 어떤 텍스트에 대한 정보를 학습하고 사용자가 질문했을 때 응답하는 문제다

 

예를 들어

// 텍스트
자연어 처리(自然語處理) 또는 자연 언어 처리(自然言語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사 할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 자연 언어 처리는 연구 대상이 언어 이기 때문에 당연하게도 언어 자체를 연구하는 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 깊다. 구현을 위해 수학적 통계적 도구를 많이 활용하며 특히 기계학습 도구를 많이 사용하는 대표적인 분야이다. 정보검색, QA 시스템, 문서 자동 분류, 신문기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다.

 

 

Q. 자연어 처리는 어느 분야 중 하나인가?

 

기계는 위 텍스트의 내용을 토대로 추론해서 답을 텍스트 내에서 하거나 정답 선택지를 선택하는 방식으로 답하게 된다.

 

이 문제는 앞서 설명했던 자연어 처리에 대한 모든 개념을 활용한다고 봐도 무방하다.

 

1. 우선 텍스트 질의에 대한 정보를 알기 위해 각 문자으이 의미 벡터 추출( 이 경우는 단어 표현 벡터를 활용)

 

2. 텍스트와 질문에 대한 문장 정보 간의 관계가 어떠한지 문장 유사도 구하기

 

3. 또한 이런 질문 정보 데이터를 정리해서 질문한 내용에 대한 응답을 선택할 수 있게 정답에 대한 내용을 분류할 수 있음, 이 경우 텍스트 분류 모델을 응용

 

기계 이해의 모델 : ex) 메모리 네트워크

 

** 기계 이해는 자연어 처리 기술에 대한 개념이 총망라된 학습 태스크다. 아직 연구 단계에 있으며 QA 태스크와 관련된 여러 대회를 통해 많은 모델들이 제시되고 있다. 대표적인 대회는 SQuAD이다.

 

 

 

 

[ 출처 : 책 ( 텐서플로와 머신러닝으로 시작하는 자연어 처리) ]