Claude забирает данные с любого сайта по одной ссылке

Что показано в оригинале

Автор даёт Claude ссылку на каталог обуви Sneaker Politics и просит собрать данные товаров. Claude возвращает таблицу с полями товаров и картинками. Никакого кода, никакого API-ключа.

Как это работает на самом деле

Claude сам по себе умеет читать отдельные страницы, но не умеет обходить каталоги, листать пагинацию и обходить антибот-защиту. Здесь подключается внешний сервис Ultimate Web Scraper: он держит облачные браузеры с прокси, а Claude общается с ним через MCP-коннектор. Claude формулирует задачу, сервис выполняет обход и складывает результат в свою таблицу, Claude потом эту таблицу читает и обрабатывает.

Ключевая деталь, которая экономит время: авторизация тут не по API-ключу, а по входу в аккаунт (sign-in based). Поэтому настройка занимает минуту и нечего хранить в секретах.

У сервиса под капотом пять готовых инструментов (карточки товара, email/соцпрофили по списку сайтов, карта каталога по sitemap, карточки мест, полный экспорт каталога Shopify/WooCommerce/Magento) плюс возможность запускать уже собранные вами в редакторе point-and-click-скраперы. Право дёргать всё это у Claude появляется только на платном облачном тарифе — сама по себе установка расширения бесплатна, но она даёт лишь ручную работу в браузере, не подключение ИИ.

Воспроизведение

1. Поставить бесплатное расширение Ultimate Web Scraper в Chrome (chrome web store, 100 000+ установок, 4.6★). Оно же предложит завести аккаунт сервиса.
2. В настройках расширения открыть «Connect Claude» (то же самое отдаёт страница https://ultimatewebscraper.com/claude) — оба места дают один и тот же адрес коннектора: https://mcp.ultimatewebscraper.com/mcp. Старый адрес https://cloud-api.ultimatewebscraper.com/mcp, который виден в кадрах ролика, тоже до сих пор работает.
3. Прежде чем подключать: подключение ИИ доступно только на платном облачном тарифе (от $60/год). Без оплаченного плана на шаге входа появится предложение оформить подписку вместо кнопки Allow.
4. В Claude: Settings → Connectors → Add → Add custom connector, вставить URL.
5. Нажать Connect, залогиниться, выбрать workspace и уровень доступа — можно read-only, тогда сервис не тратит кредиты без вашего подтверждения.
6. Проверить в новом чате: «Scrape the product data using Ultimate Web Scraper: <ссылка на каталог>» (сервис советует явно называть себя в запросе, чтобы Claude не попытался читать страницу обычным веб-доступом).

Проверочный прогон

Возьми любой каталог с пагинацией (не одну карточку товара, а список). Перед самим сбором сервис должен показать оценку в кредитах и подождать подтверждения — если Claude сразу начал тратить без предупреждения, что-то настроено не так. Правильный результат: таблица со всеми позициями и ссылками на изображения, а не пересказ первой страницы. Если Claude вернул текстовое описание вместо таблицы, коннектор не подключился и он читает страницу обычным веб-доступом.

Где применимо в моих задачах

• Сбор конкурентных каталогов и цен для КП и смет.
• Парсинг тендерных площадок и профильных сайтов без ручного копирования.
• Сбор контактов и профилей для аутрича в GTM-пайплайне.

Честные оговорки

• Продукт сторонний, к Anthropic отношения не имеет. Данные проходят через облако Ultimate Web Scraper, для чувствительных источников это не подходит.
• Это платный сервис с первого дня использования как коннектора: расширение бесплатно только для ручной работы в браузере, а чтобы дать доступ Claude — нужен облачный тариф Pro минимум $60 в год (только годовая оплата, помесячной нет), это 10 000 кредитов, примерно 1 кредит за страницу. Бесплатной пробы именно для ИИ-подключения нет.
• Заголовок в духе «теперь умеет скрапить любой сайт» немного преувеличивает: LinkedIn сервис прямо исключает как цель скрапинга, а на части сайтов с сильным антиботом обход всё равно может не пройти.
• Юридическая сторона скрапинга остаётся на вас: ToS сайтов никто не отменял.

Ссылки и ресурсы

• Ultimate Web Scraper — https://ultimatewebscraper.com/, страница подключения Claude: https://ultimatewebscraper.com/claude, документация по MCP: https://ultimatewebscraper.com/docs/ai/connect. Расширение Chrome: https://chromewebstore.google.com/detail/ultimate-web-scraper/pdeldjlcnhallaapdggcmhpailpnnkmg (бесплатно, 100 000+ установок, 4.6★). Подключение к Claude/ChatGPT/Cursor — платно: Pro $60/год (10 000 кредитов), Pro+ $99/год (100 000 кредитов), Team $249/год (200 000 кредитов, 6 мест), оплата только годовая.
• Адрес MCP-коннектора — https://mcp.ultimatewebscraper.com/mcp (актуальный) или https://cloud-api.ultimatewebscraper.com/mcp (старый, виден в кадрах ролика, тоже работает).
• Каталог из ролика — https://sneakerpolitics.com/collections/footwear, живой каталог обуви Sneaker Politics, использован только как демо-пример, к самому сервису отношения не имеет.
• На кадре с диалогом Claude «Add custom connector» машинное распознавание нашло «сайты» mcp.es и ple.com/mcp — это разбитый ошибкой OCR плейсхолдер-пример https://mcp.example.com/mcp из самого интерфейса Claude, не отдельный сервис и не имеет отношения к Ultimate Web Scraper.