web-crawler
Системное администрирование и сети
Вопрос или проблема У меня есть файл robots.txt, который выглядит следующим образом: User-agent: * Disallow: /account/ Disallow: /captcha/ Disallow: /checkout/ User-agent: DataForSeoBot Disallow: /p- User-agent: UptimeRobot Disallow: /p- У меня есть множество
Вопросы и ответы
Вопрос или проблема Я использую Scrapy для обхода страниц и извлечения данных в файл JSON, но сталкиваюсь с проблемами согласованности данных. В частности, некоторые поля, похоже, сохраняют или дублируют данные из предыдущих ответов, что приводит к неверным
Вопросы и ответы
Вопрос или проблема https://adrianahoyos.com/our-products/living-room/sofa-loveseats/caramelo-tufted-sofa-140/ Сайт загружается через 5 секунд, показывая текст, но мне нужно получить текст из [“Загрузка..”] по умолчанию установлен текст.