노드 크롤링
-
[Node.js] node.js환경에서 웹 크롤링 하기(cheerio-httpcli)개발/Javascript 2018. 11. 19. 00:05
웹 크롤링(웹 스크래핑)은, 웹 페이지의 경로를 통해 HTML 정보를 가져와서, 파싱을 통해 필요한 정보만 가공하는 것을 의미합니다. 대표적인 예로, 네이버 실시간 검색어 결과를 가져온다던지, 실시간 환율이나 주식 정보를 가져와서 이걸로 어떠한 프로그램을 만드는 것을 예로 들 수 있습니다. 대표적인 웹 크롤링 라이브러리는 python 환경의 bs4를 예로 들 수 있습니다. 그러나, 이번 포스팅에서는 node.js 환경에서도 쉽게 웹 크롤링을 할 수 있게 하는 모듈을 소개하고자 합니다. 사실, node.js 환경에서도 크롤링을 가능케하는 모듈은 여러가지가 있습니다. 대표적으로, cheerio가 있지만, 제가 사용해본 결과 가장 간단하게 사용할 수 있는 cheerio-httpcli 모듈을 예로 들겠습니다. ..