Как спарсить сайт онлайн и бесплатно — diggernaut
Если постоянно требуется получать информацию из одного или нескольких сайтов, процесс ручного переноса этих данных может быть весьма рутинным и трудоемким. Можно, конечно, заказать у программистов скрипт, чтобы он автоматически все загружал, но для работы скрипта требуется отдельный сервер в случае, если источники немного поменяют дизайн, придется доплачивать за перенастройку. Спарсить сайты — то есть получать информацию с них в автоматическом режиме и в удобном виде можно теперь совершенно безболезненно и даже бесплатно. С помощью такого сервиса, как, например, diggernaut.
На кого рассчитано?
Во-первых, следует определиться с аудиторией, на кого рассчитан этот сервис. Прежде всего на тех, кто умеет составлять четкие машинные инструкции, но не обязательно умеет программировать. Хотя разработчики полагают, что сервис для людей «без навыков программирования», минимальные представления о том, как создавать инструкции все же нужны. Впрочем, инструмент довольно гибкий. Кроме своего внутреннего языка программирования пользователь может предпочесть визуальный редактор, который вызывается в виде приложения для браузера Google Chrome.
Что можно спарсить? Из каких сайтов можно вытащить данные?
Почти любые сайты, написанные с помощью html+css. Это 99% сайтов в интернете. Загрузить данные о товарах (если поставщик не предоставляет выгрузку в удобном формате), новости, данные из официальных источников, перечни и базы различных федеральных агентств — все это по плечу сервису. Одним словом, если стоит задача превратить красиво оформленные на сайте, но недоступные для дальнейшей обработки данные в такую информацию, которую будет потом легко обрабатывать — это как раз правильный выбор.
Бесплатно?
В общем, да. Нет даже тестового периода — никто не ограничивает во времени. Можно создать один проект и дать ему небольшую нагрузку в пределах 5000 запросов. В этом отношении разработчики сделали удобную вещь. Для тех, кто уже разобрался и оценил — предлагаются тарифные планы с помесячной платой.
Просто, «без SMS и регистрации»?
Наверное, нет. Разработчики сервиса судя по всему потратили немало времени и сил, чтобы создать визуальную надстройку, пригодную для использования даже теми людьми, которые за свою жизнь не написали ни строчки кода. Видно, что это титанический, грандиозный проект, призванный облегчить извлечение данных с веб-сайтов. Однако сама природа сайтов в интернете, способы их написания веб-мастерами, множество вариантов представления данных, которые нужно извлекать, делают процесс весьма нетривиальным.
Если обычный программист, получивший задание на создание такой программы, прежде всего начинает с изучения исходного кода источники и уже в процессе работы над ТЗ адаптирует скрипт под извлечение конкретных данных, то в случае использования сервиса его алгоритмы должны уметь работать практически с любыми данными. И часть нагрузки по управлению процессом ложится на пользователя. Нельзя сказать, что это какая-то сверхзадача. Вполне возможно один раз детально во всем разобраться и затем уже использовать сервис как отличный инструмент для повседневных задач. Но первое впечатление может сложиться таким, что сразу понять куда нажимать и что делать может не получиться.
К счастью, diggernaut обладает хорошим разделом помощи. Прежде, чем куда-то идти в админке и что-то настраивать, мы рекомендуем его тщательно изучить. Это сэкономит массу времени и позволит полноценно пользоваться сервисом.
Выводы: можно ли использовать для парсинга сайтов?
Определенно да. Но с оговорками: прежде всего потратить некоторое время на изучение документации, просмотра видео с помощью и подсказками и уж затем приступая к собственно сервису.
Будет ли польза? Как и от всякого автоматического инструмента: если пользователь регулярно сталкивается с задачами извлечения больших объемов информации из других источников, то, даже если он способен сделать все руками, использование системы наподобие diggernaut способно существенно сэкономить рабочее время и, главное, силы.
