[Scrapy] 06. Scrapy Spider 활용

content

1. Multi Domain

2. spider Attribute

3. Logger

4. Response 분기

1. Multi Domain

여러 도메인에 동시에 접근 가능하게 해준다.

(1) start_urls list에 url 추가.

(2) create function -> yield scrapy.Request(url, self.parse)

 

2. spider Attribute

스파이더 종류 : CrawlSpider, XMLFeedSpider, CSVFeedSpider, SitemapSpider

 

custom_settings : 사용자 시스템 설정(setting)

start_urls : response 받을 url 설정

name : spider의 name 설정

Logger

 

dir(self) 를 출력해보면 알 수 있다.

    

 

3. Logger

    * 실행 중 발생하는 이벤트를 기록(logging)

    * 각 Spider 인스턴스 내에서 다음과 같이 액세스하고 사용할 수 있다.

    * print()와 차이점은 self.logger.info()는 Rog 기록이 찍힌다.

    * self.logger.info()

 

4. Response 분기 사용