follow_all1 [Scrapy] 03. Following links url : http://quotes.toscrape.com contents 1. 다음 링크를 재귀적으로 따라가기 2. scrapy.Request() 사용법 3. response.follow() 사용법 4. response.follow_all() 사용법 1. Following links 순서 : 해당 url에서 데이터 추출 -> 다음 링크(url)을 찾음 -> 다음 페이지에 대한 새로운 요청 생성 -> 콜백 등록 urljoin() : 링크가 상대적일 수 있으므로 사용한다. 해당 사이트에서 a::("href")의 결과는 절대 경로인 /page/6/ 이다. urljoin() function을 사용하여 http://quotes.toscrape.com/page/6/ 로 바꿔줄 수 있다. 2. response.fo.. 2020. 4. 1. 이전 1 다음
