[ Beautiful Soup ] Beautiful Soup 설치와 html 태그 제거

shell을 열고

conda install -c anaconda beautifulsoup4

 

Beautiful Soup은 웹에 있는 HTML 문서를 가져오거나 파싱할 수 있다. 예를 들어, html 태그를 지워보면

import requests
from bs4 import BeautifulSoup

rq = requests.get("https://yanoo.tistory.com/category/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D/Web")
text=rq.content

print(text)

뭔가 지저분하게 html 태그가 포함되어 알아볼 수 없지만 라이브러리를 이용해 태그를 지워보면

text=BeautifulSoup(text,"html5lib").get_text()
print(text)

 

 

html 태그는 제거된 모습을 볼 수 있다.