Аудиоверсия страницы
Разговор о том, что на этой странице
Зачем нужны скрипты и парсеры
В рекламе, аналитике и SEO-продвижении часто нужно обрабатывать данные, которые вручную собирать долго: цены конкурентов, позиции по запросам, содержимое каталогов. Под такие задачи пишем отдельные скрипты и парсеры под конкретный источник данных и формат, который нужен на выходе.
Разработка скриптов, роботов и грабберов
Граббер скачивает информацию из интернета, парсер — находит в ней нужное и приводит к нужному формату. На этапе разработки учитываем, что сайт-источник может измениться или начать блокировать обращения, — это закладывается в скрипт заранее, а не решается переделкой после первой поломки.
Скрипты интеграции между системами
Системы аналитики, CMS и внутренние сервисы обычно никак не связаны между собой. Пишем скрипты, которые передают данные из одной системы в другую по расписанию или по событию — без ручной выгрузки и загрузки файлов туда-обратно.
Преимущества разработки скриптов и грабберов у нас
Доработка существующих скриптов
Беру в работу и уже написанные кем-то другим парсеры и грабберы — если понятен формат данных, с которым они работают.
Размещение на серверах
Скрипт можно разместить на своих серверах, без необходимости поднять и настроить хостинг под него отдельно.
Работа по расписанию
Скрипт запускается по расписанию — без ручного напоминания себе запустить его каждый раз заново.
Чёткие сроки
Срок называю после разбора задачи и формата данных — и придерживаюсь его.
Что входит в разработку скрипта
| Что входит | Базовый | Расширенный |
|---|---|---|
| Разбор задачи и формата данных | да | да |
| Написание и проверка на ваших данных | да | да |
| Запуск по расписанию | — | да |
| Уведомления об ошибках | — | да |
| Журнал выполнения | простой | подробный |
| Настройка на вашем сервере | да | да |
| Инструкция по запуску и правке | да | да |
Как проходит работа и оплата
Разбираем задачу и делим её на этапы
Смотрим, что нужно сделать, и предлагаем разбивку. Сайт обычно делится на два этапа, по вашему желанию — на три. Если объём работ большой, этапов будет больше: так проще и планировать, и принимать.
Подписываем договор
В договоре зафиксировано, что входит в каждый этап, в каком виде сдаётся результат и в какой срок. Без этого не начинаем: устные договорённости через месяц помнят по-разному.
Вы оплачиваете этап, мы его делаем
Каждый этап оплачивается авансом, до начала работ по нему. Платить сразу за весь проект не нужно — только за ближайший кусок.
Показываю результат, вы принимаете
Этап сдаётся целиком и в рабочем виде, а не «почти готово». Правки в рамках этапа делаем до того, как вы его примете.
Переходим к следующему этапу
После приёмки вы оплачиваете следующий этап, и цикл повторяется. Так расходы растягиваются по месяцам — это удобно, когда бюджет планируется заранее.
Вопросы и ответы
Какие данные можно собирать скриптом?
Практически любые открытые данные с сайтов и сервисов: цены, наличие товара, позиции по запросам, содержимое каталогов. Обсуждаем источник и формат перед началом работы.
Что если сайт-источник изменит вёрстку?
Парсер придётся адаптировать под изменения — это закладывается в стоимость доработки, а не считается новой разработкой с нуля.
Можно ли доработать уже существующий скрипт?
Да, если понятен код или хотя бы формат данных, с которым он работает.
Где размещается скрипт после разработки?
На вашем сервере или на серверах, которые предоставляю я, — обсуждаем в зависимости от задачи.
Как узнать, что скрипт отработал без ошибок?
Настраивается журнал выполнения: видно, что и когда обработано и были ли ошибки. Для важных задач добавляю уведомление о сбое.