Python을 이용한 한글 명사별 분류(Code)

Konlpy를 이용하여 크롤링한 데이터를 명사별로 분류하고자 한다.

 

https://sports.news.naver.com/news.nhn?oid=139&aid=0002124617

모리뉴 “1위 팀 우리 꺼릴 것” vs 사리 “모리뉴 만나고 싶다”

우선 크롤링을 하여 본문을 긁어온다.

 

import requests
import re
url = "https://sports.news.naver.com/news.nhn?oid=139&aid=0002124617"
req = requests.get(url)
content = req.text.split('"newsEndContents">')[1].split('</div>')[0]
print(content)

본문 크롤링

필요없는 html 정보 (br, span) 등을 제거하는 방법은 다음과 같다

 

content = re.sub('<.+?>', '', content, 0).strip()

 

html 정보를 제거한 본문 크롤링

이제 konlpy를 설치해야 한다.

konlpy 설치 방법은 pip3 install konlpy(python 3 기준)이다.

 

그 다음 아래 소스와 같이 konlpy를 Import 하고, Kkma 모델을 가져온다.

Kkma말고도 Twitter 등이 있다고 한다.

import requests
import re
from konlpy.tag import Kkma
from konlpy.utils import pprint
url = "https://sports.news.naver.com/news.nhn?oid=139&aid=0002124617"
req = requests.get(url)
content = req.text.split('"newsEndContents">')[1].split('</div>')[0]
content = re.sub('<.+?>', '', content, 0).strip()
nlpy = Kkma()
noun = nlpy.nouns(content)
print(noun)
 

그 다음, nlpy.nouns 를 이용하여 content로 부터 명사 단위로 쪼갠다.

 

결과

결과이다.

딥러닝을 잠깐이나마 공부한 사람들은 알겠지만, 명사를 문장 내에서 인식하여 쪼갠다는 것은 매우 어려운일이다.

특히 한글의 경우, 구조상으로 영어보다 훨씬 더 예측하기 어렵다고 한다.