Ползание по всему сайту раньше занимало: Скрипт на Python. Playwright или Selenium. Ротация прокси. Логика ограничения скорости. Обработка ошибок. 3 часа отладки, почему страница 47 вернула 403. Теперь это один API вызов. Каждый стартап по веб-скрапингу, который собрал миллионы, чтобы решить эту проблему, только что стал одним единственным конечным пунктом. Каждый фрилансер, который брал $500 за "извлечение данных с сайта", только что потерял всю свою бизнес-модель из-за команды /crawl. HTML. Markdown. JSON. Выбирайте свой формат. Никаких скриптов. Никакого браузера. Никакой головной боли. Вся индустрия веб-скрапинга только что сократилась до одной строки кода. Кто-то собирается использовать это, чтобы клонировать сайт каждого конкурента к пятнице. 💀