Firecrawl

왜 필요한가?

AI 에이전트와 RAG 파이프라인이 늘면서 “실제 웹의 정제된 데이터” 를 안정적으로 가져오는 인프라 수요가 커졌습니다. 일반 스크래핑 도구는 자바스크립트 렌더링·복잡한 마크업·robots.txt·인터랙션 단계를 각자 해결해야 해 운영 부담이 크고, 결과가 LLM 컨텍스트에 바로 들어가지 못해 후처리도 필요합니다.

Firecrawl 은 그 인프라 계층을 한 API 로 묶습니다 — “infrastructure layer that helps AI find, read, and act on the live web” 를 표방하며, 결과를 처음부터 LLM 준비된 markdown / 구조화 데이터 로 돌려줍니다.

핵심 기능 — 세 가지 통합 능력

• Search — 웹 검색

  쿼리를 던져 검색 결과를 받습니다. 결과에 대한 컨텐츠 추출까지 한 호출에서 처리 가능.

• Scrape — 페이지 → 정제 데이터

  단일 URL 을 JSON·markdown 등 LLM 친화 포맷으로 추출합니다. 자바스크립트 렌더링과 복잡한 마크업을 자동 처리.

• Interact — 페이지 자동화

  클릭·입력·내비게이션 같은 인터랙션을 자동화해 정적 스크래핑으로 닿지 못하는 흐름까지 접근.

부가 엔드포인트로 Agent(자율 멀티소스 리서치), Crawl(깊이·페이지 제한 하의 다중 페이지 수집), Map(사이트 URL 발견), Batch Scrape(여러 URL 병렬 처리) 가 제공됩니다.

Cloud vs Open Source

SDK

커뮤니티 Go SDK 도 README 에 별도 링크되어 있습니다.

사용 방법

클라우드 (가장 빠른 시작) — firecrawl.dev 에서 API 키 발급 후 직접 호출.

curl -X POST 'https://api.firecrawl.dev/v2/search' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"query": "firecrawl", "limit": 5}'

Self-Host — 리포 루트의 docker-compose 스택을 사용.

git clone https://github.com/firecrawl/firecrawl
cd firecrawl
docker compose up

자세한 환경 설정·의존성은 리포의 SELF_HOST.md 가이드 참조.

Claude Code 에서 사용 — Firecrawl MCP 를 통해 호출. FIRECRAWL_API_URL 환경변수로 self-host 인스턴스를 지정하면 클라우드 의존 없이도 Claude 안에서 도구로 쓸 수 있습니다.

알아두면 좋은 점

• AGPL-3.0 라이선스 주의 — 영리 제품에 엔진 본체를 통합·수정해 배포할 계획이라면 AGPL 의 카피레프트 조항을 사전 검토해야 합니다. 단순히 클라이언트에서 API 를 호출하는 경우(MCP·SDK 사용)는 일반적으로 영향 없음.
• SDK 와 일부 UI 는 MIT — README 명시: 클라이언트 측 통합에는 MIT 라이선스 부분만 들어가므로 일반 사용에는 부담 없음.
• robots.txt 기본 준수 — README 명시: “Firecrawl respects robots.txt by default” 그리고 “It is the sole responsibility of end users to respect websites’ policies when scraping” — 스크래핑 대상 사이트 정책 준수는 사용자 책임.
• 대규모 채택 — 100만 명 이상의 등록 사용자, Apple·Canva·Lovable 등이 사용한다고 firecrawl.dev 가 명시.
• 활발한 유지보수 — 2024년 4월 첫 커밋 이후 거의 매일 업데이트.