크롤링
-
파이썬으로 어벤져스: 엔드게임 용산IMAX 명당 예매 하기 (完)개발/기록 2019. 4. 25. 02:13
파이썬으로 어벤져스: 엔드게임 용산IMAX 명당 예매 하기 (2) 5. 잘 때 예매 오픈이 된다면...? 열심히 코딩을 했지만, 가장 중요한 문제가 있었습니다. 새벽에 예매 오픈을 하면...? 실제로, 지난 어벤져스: 인피니티 워 같은 경우에는, 오전 5시 50분에 예매 오픈을 하는 경우가 있었습니다. 사실, CGV 예매 서버를 생각 한다면, 새벽에 여는게 당연한 선택이 될 수 있습니다. 그러나 만약 제가 자고 있는 시간인 새벽에 예매 오픈을 하게 되면, 텔레그램 알리미가 무용지물이 될 수 있다는 점입니다. 매일 알람으로 듣는 시끄러운 노래소리가 아닌, 텔레그램 메세지 수신 소리만으로는 새벽에 일어나기 힘든 것은 당연합니다. 저는 그래서, 예매 알리미를 이중으로 구축하기로 하였습니다. 자고 있을 때는 노..
-
파이썬으로 어벤져스: 엔드게임 용산IMAX 명당 예매 하기 (2)개발/기록 2019. 4. 25. 01:23
파이썬으로 어벤져스: 엔드게임 용산IMAX 명당 예매 후기 (1) 3. 예매 오픈시, 텔레그램으로 알림 주기 앞서 작성한 코드로, 저는 4월 26일에 용산 IMAX관의 어벤져스: 엔드게임의 예매오픈 여부를 알 수 있었습니다. 하지만 이 코드만으로는, 해당 여부를 자동으로 확인할 수 없고, 알림도 주지 않습니다! 때문에, 예매오픈 여부를 확인하고 저에게 알람을 주기위해, 텔레그램 봇으로 구축을 하였습니다. 개발자가 이용할 수 있는 외부 봇 플랫폼은 많이 있으나, 가장 간단하고 목적에 가장 부합한 플랫폼이 텔레그램이기 때문에, 텔레그램 봇을 선택하였습니다. \ 간단하게 구축이 가능한가? 선톡 기능이 있는가? 여러 사용자가 이용할 수 있는가? 카카오i △(오픈빌더 권한 얻어야 함) X O 페이스북 메신저 봇 ..
-
파이썬으로 어벤져스: 엔드게임 용산IMAX 명당 예매 하기 (1)개발/기록 2019. 4. 25. 00:34
*본 글에 앞서, 글에 서술한 관련 기술로 암표 판매 등 어떠한 금전적 이득을 얻지 않았음을 밝힙니다. 0. 어벤져스: 엔드게임이 개봉한 오늘은, 스포일러를 피하려는 전쟁으로 정말 힘들었던 하루가 아닌가 싶습니다. 사실, 어벤져스: 엔드게임을 향한 전쟁은 개봉 전부터 이미 시작되었다고 볼 수 있습니다. 바로, 콘서트, 항공권 할인 이벤트 등에서는 쉽게 볼 수 있는 '티켓팅' 전쟁입니다. 우리나라에는 정말 많은 영화관이 있어서, 영화를 예매하는 데는 큰 어려움이 없지만, 영화예매에서의 사실 몇 번의 티켓팅 전쟁은 존재해 왔습니다. 어벤져스: 인피니트 워, 덩케르크 등의 용산IMAX관 예매의 경우. 바로, CGV 용산아이파크몰의 'IMAX' 관의 존재 때문입니다. 용산아이맥스가 좋은 이유(https://cr..
-
[Node.js] node.js 크롤링 방지 우회하기(네이버 크롤링)개발/Javascript 2018. 11. 19. 23:52
node.js 크롤링 방지 우회하기(네이버 크롤링).md 웹 크롤링을 이용하는 프로젝트를 진행하다보면, 네이버, 구글, 다음과 같은 대형 포털사이트를 크롤링하여 정보를 얻는 경우가 많습니다. node.js환경에서 웹 크롤링 하기(cheerio-httpcli) https://hanswsw.tistory.com/6 그런데, 원래 하던대로 크롤링을 해도, 원하는 결과값을 얻지 못할 때가 있습니다. 물론 코드가 잘못됐거나, 크롤링할 selector을 잘못 지정했을 수도 있지만, 네이버같은 대형 포털사이트의 경우에는, 웹서버에서 크롤링 봇을 탐지해서 차단했을 가능성이 높습니다. 네이버에서 차단된 경우, "검색 서비스 이용이 제한되었습니다." 라는 문구가 보입니다. 이러한 경우, 간단한 헤더 설정으로 크롤링 탐지를..
-
[Node.js] node.js환경에서 웹 크롤링 하기(cheerio-httpcli)개발/Javascript 2018. 11. 19. 00:05
웹 크롤링(웹 스크래핑)은, 웹 페이지의 경로를 통해 HTML 정보를 가져와서, 파싱을 통해 필요한 정보만 가공하는 것을 의미합니다. 대표적인 예로, 네이버 실시간 검색어 결과를 가져온다던지, 실시간 환율이나 주식 정보를 가져와서 이걸로 어떠한 프로그램을 만드는 것을 예로 들 수 있습니다. 대표적인 웹 크롤링 라이브러리는 python 환경의 bs4를 예로 들 수 있습니다. 그러나, 이번 포스팅에서는 node.js 환경에서도 쉽게 웹 크롤링을 할 수 있게 하는 모듈을 소개하고자 합니다. 사실, node.js 환경에서도 크롤링을 가능케하는 모듈은 여러가지가 있습니다. 대표적으로, cheerio가 있지만, 제가 사용해본 결과 가장 간단하게 사용할 수 있는 cheerio-httpcli 모듈을 예로 들겠습니다. ..