Firecrawl

Что это и какую задачу закрывает

Как работает под капотом

Основа - управляемый браузер с кэшем поверх. Ключевое отличие от самописного краулера в том, что инфраструктурные проблемы решены на стороне сервиса.

1. 1Рендеринг страницы целикомСервис выполняет JavaScript и дожидается загрузки динамического содержимого. Обычный запрос такие страницы не прочитает.
2. 2Прокси и обход защитыТри режима прокси, включая усиленный для сложных сайтов. Усиленный режим стоит дороже - плюс 4 кредита к странице.
3. 3Очистка от служебных элементовПо умолчанию удаляются шапка, навигация и подвал. Отдельный режим дочищает шаблонный мусор через модель.
4. 4Кэш с настраиваемым возрастомПо умолчанию свежей считается копия младше двух суток. Кэш ускоряет ответ кратно, но не экономит кредиты - страница стоит столько же.
5. 5Структурирование по схемеФормат JSON извлекает данные по заданной схеме или свободному описанию. Тарифицируется дополнительно - плюс 4 кредита.

Чем отличается от встроенных возможностей агента

Что возвращает и как быстро

API и пример вызова

import { Firecrawl } from 'firecrawl'

const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY })

const res = await firecrawl.scrape('https://example.com/pricing', {
  formats: ['markdown'],
  onlyMainContent: true,   // без шапки, навигации и подвала
  maxAge: 172800000,       // копия младше двух суток считается свежей
})

{
  "success": true,
  "data": {
    "markdown": "# Заголовок\n\nТекст страницы...",
    "metadata": {
      "title": "...",
      "statusCode": 200,
      "cacheState": "hit"
    }
  }
}

Тарифы и бесплатный лимит

Ограничения по частоте запросов: На бесплатном плане 10 запросов в минуту на скрейп и всего 1 на обход при 2 параллельных браузерах. На старших планах - до 7500 запросов в минуту и 150 параллельных браузеров

Базово одна страница - один кредит, и кэш эту цену не снижает. Надбавки заметно меняют картину: извлечение по схеме, усиленный прокси и удаление персональных данных добавляют по 4 кредита к странице, то есть удорожают её впятеро. Поиск стоит 2 кредита за 10 результатов. Кредиты не переносятся на следующий месяц, тарифа с оплатой по факту нет. На странице тарифов показаны цены при годовой оплате.

Интеграции

Сильные и слабые стороны

Когда брать, а когда нет

Частые вопросы

Другие инструменты раздела