CNN 텍스트 유사도 분석 모델 이것은 딥러닝 모델으로 합성곱 신경망 구조를 활용해 텍스트 유사도를 측정한다. 기본적인 구조는 이전의 합성곱 모델과 유사하지만 이번은 데이터가 두 개의 텍스트 문장으로 되어 있기에 병렬적 구조를 가진 모델을 만들어야한다고 한다. 모델 소개 CNN은 문장에 대한 의미 벡터를 합성곱 신경망을 통해 추출해서 그 벡터에 대한 유사도 측정 분석 모델 예를 들어 모델에 입력하고자 하는 데이터는 문장 2개로, 문장에 대한 유사도를 보기 위해 기준이 되는 문장을 '기준 문장' 그리고 이에 대해 비교해야하는 문장을 '대상 문장'이라 한다. 책에 따르면 이런 구조를 가지고 있는데 기준 문장인 I Love deep NLP와 대상 문장인 Deep NLP is awesome은 의미가 굉장히 유사..

앞서 전처리한 데이터를 사용해 유사도 측정을 위한 모델을 만든다. 처음은 XG 부스트 모델이다. XG 부스트 텍스트 유사도 분석 모델 해당 모델로 데이터의 주어진 두 진물 문장 사이 유사도를 측정해 두 질문이 중복인지 아닌지 판단한다. 모델 소개 'eXtream Gradient Boosting'의 약자로 앙상블의 한 방법인 Boosting 기법을 이용한다. Boosting 기법에 대해 알아보면 머신러닝 혹은 통계학에서 앙상블 기법이란 여러 개의 학습 알고리즘을 사용해 더 좋은 성능을 얻는 방법을 의미하는데 앙상블 기법에는 bagging과 boosting이라는 방법이 있다. bagging은 여러 개의 학습 알고리즘과 모델을 통해 각각 결과를 예측하고 모든 결과를 동등하게 보고 취합해 결과를 얻는 것이다. ..

데이터 전처리 먼저 라이브러리를 가져온다. import pandas as pd import numpy as np import re import json from tensorflow.python.keras.preprocessing.text import Tokenizer from tensorflow.python.keras.preprocessing.sequence import pad_sequences 이제 학습 데이터를 불러온다. DATA_IN_PATH='./data_in2/' train_data=pd.read_csv(DATA_IN_PATH+'train.csv',encoding='utf-8') 먼저 진행하는 전처리 과정은 분석에서 확인했던 라벨 개수의 균형을 맞추는 것이다. 확인했듯 중복이 아닌 데이터가 더욱..

자연어 처리의 다른 문제인 텍스트 유사도 문제를 풀 것이다. 문제는 캐글에서 "Quora Questions Pairs"문제이다. Quora는 질문을 하고 다른 사용자로부터 답을 받을 수 있는 서비스로 이 서비스에 올라온 질문 중 어떤 질문이 서로 유사한지 판단하는 모델을 만드는 것이 목표다. 문제 소개 www.kaggle.com/c/quora-question-pairs/data Quora Question Pairs Can you identify question pairs that have the same intent? www.kaggle.com 실제로 딥러닝 공부할 때도 쿼라 질문들로 공부할 수 있다. 우선 데이터에 대해 알아보고 데이터를 분석 그 결과로 데이터 전처리를 진행한다. 데이터 분석과 전처리 ..

모델링 전처리한 데이터로 감정 분석을 위한 모델링을 진행한다. 먼저 전처리 결과를 보면, 한글 데이터를 정제하고 각 단어들을 벡터화한 후 넘파이 파일로 저장했다. 벡터화된 데이터는 글자가 숫자로 표현됐기에 영어와 한글에 큰 차이는 없다. 실습할 모델 소개 이번엔 딥러닝 방식인 합성곱 신경망(CNN) 하나의 모델만 진행한다. 입력값으로는 전처리한 한글 넘파이 데이터를 쓴다. 학습 데이터 불러오기 필요한 라이브러리와 전처리한 데이터를 불러온다. import os from datetime import datetime import tensorflow as tf import numpy as np import json from sklearn.model_selection import train_test_split D..

데이터 전처리 앞서 분석한 데이터 기반으로 전처리를 진행한다. 라이브러리를 부르면 import numpy as np import pandas as pd import re import json from konlpy.tag import Okt from tensorflow.python.keras.preprocessing.sequence import pad_sequences from tensorflow.python.keras.preprocessing.text import Tokenizer DATA_IN_PATH='./data_in/' train_data=pd.read_csv(DATA_IN_PATH+'ratings_train.txt', header=0, delimiter='\t', quoting=3) 불러온 라이..