데이터 전처리 이제 데이터를 모델에 적용하도록 데이터 전처리를 진행한다. 먼저 사용할 라이브러리를 보면 데이터를 다루기 위해 판다스를 사용하고, 데이터 정제를 위해 re와 Beautiful Soup을 사용한다. 그리고 불용어를 제거하기 위해 NLTK 라이브러리의 stopwords 모듈을 사용한다. 또한 텐서플로의 전처리 모듈인 pad_sequences와 Tokenizer을 사용하고, 마지막으로 전처리된 데이터를 저장하기 위해 넘파이를 사용한다. import re import pandas as pd import numpy as np import json from bs4 import BeautifulSoup from nltk.corpus import stopwords import nltk from tenso..

kaggle의 Bag of words Meets Bag of Popcorn이라는 문제를 활용하여 영화 리뷰 데이터를 분류한다. (주소 : www.kaggle.com/c/word2vec-nlp-tutorial ) 문제 소개 영어 텍스트 분류 문제 중 캐글의 워드팝콘 문제 활용 워드 팝콘? 워크 팝콘은 인터넷 영화 데이터베이스에서 나오느영화 평점 데이터를 활용한 캐글 문제. 영화 평점 데이터이므로 각 데이터는 영화 리뷰 텍스트와 평점에 따른 감정 값(긍정 or 부정)으로 구성됨. 목표 크게 3가지 과정을 거치는데, 첫 번째는 데이터를 불러오고 정제되지 않은 데이터를 활용하도록 전처리 과정 그 다음은 데이터를 분석하는 과정인데 데이터가 어떻게 구성돼 있는지 확인하고 그에 따라 어떻게 문제를 풀어가는지 알아본다..

먼저 powershell을 실행하여 pip으로 kaggle을 받는다 pip install kaggle 여기서 받고자 하는 kaggle data에 접근하여 여기서 오류가 뜨는 경우가 있는데 c://users/[사용자이름] 위치에 .kaggle 폴더를 만들어서 kaggle.json 파일을 이곳에 옮겨줘야하기 때문입니다. kaggle 사이트 오른쪽 상단에 클릭하여 account를 눌러 아래를 내리다보면 api에서 Create New API Token을 누르게 되면 kaggle.json 파일을 받게 되는데 이 파일을 아까 생성한 .kaggle 폴더로 옮겨줍니다. 파란색으로 가린 부분이 사용자이름입니다. 하지만 이 경우에도 안되는 경우가 있는데 403 - Forbidden이 발생하는 경우입니다. 이 경우에는 각 ..

처음 캐글 문제를 풀 때, 많은 사람들은 모델을 만들고 훈련 후 성능을 평가하고, 성능이 안 나온다면 다른 모델을 사용하는데, 이처럼 모델에 문제가 있는 경우도 있지만 해당 문제를 해결하려면 우선 데이터 이해가 선행돼야 한다. 이런 과정을 탐색적 데이터 분석이라고 함. 이런 과정을 통해 생각하지 못한 데이터의 여러 패턴이나 잠재적인 문제점 발견할 수 있음. 그리고 모델에 문제가 없다고 해도 데이터에 따라 맞는 모델이 있는데 모델과 데이터가 맞지 않다면 좋은 결과를 얻을 수 없다. 즉, 아무리 좋은 모델이라해도 데이터와 안 맞는 모델이라면 문제가 발생할 수 있다. 탐색적 데이터 분석은 어떻게 진행되는가? 답은 정해진 틀 없이 데이터에 대한 많은 정보를 내면 된다. (데이터에 대한 정보란? 데이터의 평균값,..

기계 이해 태스크에서는 대체로 자연 언어를 이해하는 과제에서 기계가 텍스트 내용에 대해 추론을 잘 하는지 파악하는 목적에서 학습하게 된다. 그렇기 때문에 이 태스크를 QA 태스크라고 부르기도 하며 보통 QA(Question Answering) 형태의 데이터셋을 활용해 기계에게 학습하게 한다. 여기서는 대표적으로 연구에서 활용하는 2개의 데이터셋을 봐보자 bAbI : 기계가 데이터를 통해 학습해서 텍스트를 이해하고 추론하는 목적에서 만들어진 데이터셋. 총 20가지 부류의 질문 내용으로 구성 돼 있으며 질문 데이터셋 구성은 아래 그림과 같다. bAbI 데이터셋은 시간 순서대로 나열된 텍스트 문장 정보와 그에 대한 질문으로 구성되어 텍스트 정보에 대해 질문을 던지고 응답하는 형태다. 그림의 예로 Task1은 ..

기계 이해란? : 기계가 어떤 텍스트에 대한 정보를 학습하고 사용자가 질문했을 때 응답하는 문제다 예를 들어 // 텍스트 자연어 처리(自然語處理) 또는 자연 언어 처리(自然言語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사 할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 자연 언어 처리는 연구 대상이 언어 이기 때문에 당연하게도 언어 자체를 연구하는 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 깊다. 구현을 위해 수학적 통계적 도구를 많이 활용하며 특히 기계학습 도구를 많이 사용하는 대표적인 분야이다. 정보검색, QA 시스템, 문서 자동 분류, 신문기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다. Q. 자연어 처리는 어느..