본문 바로가기

cheerio2

[node.js] 프로젝트 개발 - 크롤링, 형태소 분석, mysql서버 insert [계획과 실행 혹은 테스트 코드]- 첫번째 모듈 : 크롤링, 코드는 아래에 있음 (1) request 헤더, 메세지 설정한 후 요청 날림 : request module (2) request에 대한 response가 날아오면 두번째 파라미터 콜백함수가 실행됨 : cheerio 파싱 => 1, 2번은 Promise를 리턴하는 함수로 만들기, 모듈화해서 두번째 모듈에서 함수 호출, then에서 형태소 분석 기능 호출 => 크롤링이 완료되면 크롤링 결과에 따라 형태소 분석 함수가 호출되거나, 에러 메세지를 띄울 수 있도록 하기위해 => 콜백 지옥을 벗어나는 길, 콜백함수에 대한 순서를 보장하기위한 방법 : 상태를 가짐 => crawl 함수는 Promise 인스턴스를 리턴 : 파라미터로 성공했을 때, 실패했을 때.. 2017. 7. 11.
[node.js] node.js에서 데이터 수집하기 [node.js]- 자바스크립트 런타임 - 자바스크립트를 해석할 인터프리터 + 라이브러리(모듈) [데이터수집]- 크롤링 : 데이터 수집 과정을 크롤링(crawling)이라 함 - 두 단계로 나뉘어짐 1) 스크래핑(scraping) : 데이터를 가져오는 방법 - 데이터가 존재하는 곳의 형태에 따라 스크래핑 방법을 정해야함 : 인증이 필요하거나 어떤 버튼 누르는 절차가 필요하거나 등 2) 파싱(parsing) : 가져온 데이터에서 필요한 데이터를 추출하는 방법 - 각각의 역할에 맞는 모듈을 사용하기 1) 스크래핑 : http, https, request 2) 파싱 : cheerio, JSDOM - 두 단계를 합친 모듈이 있을 것 [node 모듈을 사용해서 데이터 수집해보기]- request, cheerio .. 2017. 7. 2.