🕷️ 웹 크롤링의 핵심 도구, Scrapy 완전 정복 가이드

안녕하세요!
오늘은 Python 기반 웹 크롤링 및 스크래핑 도구 중에서 가장 강력하고 널리 사용되는 Scrapy에 대해 깊이 있게 알아보겠습니다. 만약 여러분이 웹에서 데이터를 자동으로 수집하고 싶다면, Scrapy는 꼭 알아야 할 도구입니다.

✨ Scrapy란 무엇인가?

Scrapy는 웹사이트의 데이터를 자동으로 수집하고 구조화된 형태로 저장할 수 있도록 돕는 오픈소스 웹 크롤링 프레임워크입니다.
2008년에 처음 공개되어 지금까지 활발하게 유지/개발되고 있으며, 특히 대용량 데이터 수집 작업에서 그 진가를 발휘합니다.

🧠 왜 Scrapy인가?

Scrapy는 단순한 HTML 파서나 단발성 수집 스크립트와는 다릅니다.
웹 크롤링 전반의 흐름을 객체 지향적으로 설계할 수 있고, 다음과 같은 장점이 있습니다:

✅ 주요 장점

🧩 Scrapy의 내부 구성 요소

Scrapy는 다양한 컴포넌트로 이루어져 있으며, 각 부분이 역할을 분담하여 작동합니다.

🔧 설치 및 프로젝트 생성

# Scrapy 설치
pip install scrapy

# 새 프로젝트 생성
scrapy startproject myproject

# 스파이더 생성
cd myproject
scrapy genspider example example.com

🕸️ 간단한 스파이더 예제

아래는 뉴스 사이트에서 기사 제목을 수집하는 간단한 예제입니다.

import scrapy

class NewsSpider(scrapy.Spider):
    name = "news"
    start_urls = ["https://news.ycombinator.com/"]

    def parse(self, response):
        for title in response.css(".storylink"):
            yield {
                "title": title.css("::text").get(),
                "url": title.css("::attr(href)").get()
            }

실행은 다음과 같이 합니다:

scrapy crawl news -o news.json

👉 결과는 news.json 파일에 저장됩니다.

🎛 실무에 유용한 Scrapy 기능

1. CSS Selector와 XPath 지원

원하는 데이터를 정교하게 추출 가능

2. 자동 중복 요청 방지

이미 방문한 URL은 자동으로 제외

3. User-Agent 및 프록시 설정

안티스크래핑 회피 가능

USER_AGENT = "Mozilla/5.0 ..."
DOWNLOAD_DELAY = 1  # 서버 과부하 방지

4. 미들웨어(Middleware)

쿠키, 인증 토큰, 프록시 로테이션 등 중간 요청 가공

❗ 단점도 있다?

🧪 동적 웹사이트도 가능할까?

Scrapy만으로는 자바스크립트가 필요한 페이지에서 데이터 수집이 어렵습니다.
이럴 땐 Splash나 Playwright + scrapy-playwright를 연동하여 처리합니다.

pip install scrapy-playwright

설정 예:

DOWNLOAD_HANDLERS = {
    "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
    "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
}

📦 Scrapy의 활용 사례

• 쇼핑몰 상품 정보 수집 (가격, 평점, 재고 등)
• 채용 사이트에서 채용 공고 수집
• 뉴스 사이트에서 제목 및 본문 수집
• 공공 데이터 자동 수집
• 학습용 AI 데이터셋 생성

💬 마무리하며

Scrapy는 단순한 크롤링 도구를 넘어, 웹에서 데이터 수집을 체계적으로 관리하고 자동화할 수 있는 강력한 프레임워크입니다.
초기 학습에는 약간의 시간과 노력이 필요하지만, 한 번 익히면 어떤 사이트든 효율적으로 데이터를 수집할 수 있는 강력한 무기가 되어줍니다.

📚 다음 글 예고

Scrapy에 Splash, Playwright, Impersonate 등 다양한 확장 도구를 붙이는 방법을 소개할 예정입니다.

5가지 웹 스크래핑 방법