Зачем бизнесу сырые данные и как с ними работать

Чтение этой статьи займет у вас около 16-ти минут: за это время в мире произойдет 20,64 миллионов транзакций по кредитным картам и 98,901,000 поисковых запросов Google.

Это примеры того, какими масштабами живет сфера сырых данных. Мы можем охарактеризовать сырые данные как необработанные и неупорядоченные данные, генерируемые из различных источников. Они могут быть в любом формате и количестве. В них много информационного «шума» и дубликатов. Зачастую сырые данные представляют собой большие объемы информации — в этом случае их сбор и обработка обозначается термином Big Data («большие данные»).

Как только данные структурируются и выводятся в удобные форматы, они становятся обработанными и содержат ценные инсайты. Они могут использоваться бизнесом для принятия обоснованных решений, обнаружения закономерностей, корректировке стратегии и определения тенденций.

Приведем конкретные примеры сырых и обработанных данных из практики. Для отдела продаж сырыми данными будет массив информации о входящих заявках и совершенных продажах за месяц. Обработанные данные — это те же данные, но представленные в визуальной форме и сгруппированные по категориям. Например, заявки будут отсортированы по демографии и факту покупки. В этом случае, руководитель отдела продаж может оценить качество лидогенерации в компании.

Еще один пример сырых данных — это лог веб-сайта с информацией о всех запросах к серверу и их результатах. Обработанная информация — это графики и таблицы с портретом аудитории, разбитым по географии и демографии. Именно такую информацию видят маркетологи и специалисты по контекстной рекламе, использующие Google Analytics и Яндекс.Метрику.

Если для вывода инсайтов используется лишь репрезентативная выборка, а не весь массив сырых данных, то данные называются сэмплированными. Google Analytics и Яндекс.Метрика применяют данную технику для снижения нагрузки на сервера. Профессионалы в аналитике учитывают, что в некоторых случаях сэмплированные данные могут содержать искажения и приводить к ошибочным инсайтам.

Широкое распространение компьютеров и смартфонов, а также революция социальных сетей и онлайн-коммерции за последние несколько десятилетий привели к тому, что люди по всему миру генерируют все большее и большее количество данных. И если раньше бизнес собирал данные с помощью опросов и исследований, то теперь компаниям доступно изобилие информации из цифровых источников, включая:

• веб-сайты,
• приложения,
• социальные сети,
• контекстную рекламу.

Большой объем данных и источников создает не только возможности, но и проблемы. Данные нужно как-то хранить и обрабатывать. Причем сложность данных и количество источников постоянно растет — так что есть необходимость внедрять новые инструменты для их анализа.

Чем больше у организации данных и чем выше качество их сбора и обработки, тем больше конкретной пользы можно получить:

• Оптимизировать стратегию. Сырые данные являются отправной точкой для анализа — именно их используют бизнес-аналитики и руководители для определения тенденций, обнаружения закономерностей и принятия решений.
• Улучшить качество принятия решений всеми сотрудниками. Использование сырых данных не ограничивается отделом бизнес-аналитики — сотрудники любого уровня могут успешно использовать их в своей работе. Чем лучше принимаемые решения на всех уровнях организации, тем лучше для бизнеса.
• Повысить эффективность маркетинга. Сырые данные позволяют маркетологам создавать эффективные стратегии, оптимизировать бюджетные расходы и получать актуальную и точную информацию о целевой аудитории. Анализ потребительского поведения, сегментация аудитории, мониторинг социальных сетей, анализ конкурентов, прогнозирование тенденций — все это невозможно без обработки данных.
• Прогнозировать будущее. Сырые данные можно использовать для выявления тенденций и создания прогнозов о будущем поведении потребителей и отрасли, что дает возможность компаниям адаптировать свои продукты и услуги к изменяющимся потребностям рынка.
• Улучшить продукты и сервисы. Анализ больших объемов сырых данных помогает компаниям находить проблемы в процессах и продуктах, улучшать их и повышать конкурентоспособность.

Сырые данные приносят реальную пользу бизнесу, но нужно учитывать потенциально проблемные области:

• Сложность сбора данных из нескольких источников и их хранения.
• Качество собираемых данных, которые могут быть неполными, неточными или противоречивыми, что может привести к ошибкам в анализе.
• Подбор и настройка инструментов для анализа. Собранные данные нужно правильно анализировать, чтобы бизнес мог иметь объективную картину происходящего и доступ к ценным инсайтам.
• Изоляция данных. Данные могут храниться в одном бизнес-подразделении компании и «застревать» там, не распространяясь в другие отделы, таким образом создавая недостаточную осведомленность в принятии решений всеми сотрудниками.

Компаниям, которые серьезно настроены на получение пользы от сырых данных, необходимы повышенные инвестиции в ИТ-инфраструктуру — как техническое, так и программное обеспечение. Значительных ресурсов требует и поиск высокопрофессионального персонала, который может грамотно выбрать правильные инструменты для анализа и мониторить тенденции в этой сфере. Одним из решений может стать подписка на специализированные сервисы работы с данными, которые позволяют компаниям использовать стороннюю ИТ-архитектуру и работу профессионалов.

Несколько лет назад мы успешно спроектировали систему маркетинга для одного из известных автомобильных брендов и всей его дилерской сети на территории РФ. В рамках этого проекта мы также обеспечили автоматизацию процесса обработки и получения данных. Кроме широко используемых в автоиндустрии источников (коллтрекинги, рекламные системы, CRM-системы и т.д.), мы включили и веб-аналитику (на тот момент — Google Analytics 360). Что это дало: большой массив сырых данных о пользователях из разнообразных источников помогал отслеживать эффективность всего маркетинга бренда в России, корректировать стратегию и принимать бизнес-решения.
Грамотная работа с сырыми данными очень важна для цифрового маркетинга и контекстной рекламы в частности. Например, мы работаем с партнерским digital-агентством Realweb. Одна из ключевых сфер их работы — пристально отслеживать эффективность контекстных размещений и оптимизировать рекламную стратегию для клиентов. С помощью технологий Garpun мы помогаем им собирать необходимые для этого сырые данные в нужных форматах и интерпретировать их.
В работе с клиентами и для нашего собственного цифрового маркетинга мы также сводим сырую информацию через наш собственный сервис для стриминга данных. Мы используем эти данные для:

• оптимизации рекламных кампаний,
• оценки эффективности размещений,
• сегментирования аудитории,
• отслеживания полного пути пользователей по всем ресурсам (внутренним и внешним),
• оценки результатов маркетинговых экспериментов.

Всем знаком инструмент для работы с небольшими объемами данных — табличный редактор Excel, и его разновидности типа Google и Яндекс Таблиц. Они позволяют хранить и импортировать данные, выполнять различные расчеты и строить графики.

Для потребностей современного бизнеса, который сталкивается с большими объемами неструктурированных данных, табличные редакторы уже далеко не адекватны. Давайте разберемся в более продвинутых инструментах.

Мощные сервисы для обработки и представления информации — это BI-системы (системы бизнес-аналитики). Они позволяют собирать собирать большое количество данных из разных источников, обновлять их в режиме реального времени и создавать продвинутые визуализации. Tableau и Microsoft Power BI являются самыми известными программами данного типа.

Другой важный тип инструментов для работы с сырыми данными — это языки программирования. Например, язык Python используется для обработки данных и создания аналитических моделей. Или SQL — язык запросов для работы с реляционными базами данных, такими как MySQL, PostgreSQL и Oracle. Для работы с Big Data используются open-source платформа Hadoop и Spark — язык программирования, разработанный компанией Oracle для обработки больших объемов данных.

Маркетологам будут знакомы платформы веб-аналитики, самыми известными из которых являются Google Analytics и Яндекс.Метрика, но есть и множество других сервисов подобного рода.

И, наконец, есть инструменты, которые позволяют агрегировать сырые данные из различных источников и переводить их в понятную форму, к примеру в BI-системах. К таким инструментам относится наш сервис Garpun.

Как подобрать инструменты для ваших конкретных потребностей
Выбор инструмента зависит от ваших конкретных задач и запросов. Мы рекомендуем следующие шаги:

1. Четко определить цели, которых вы хотите достигнуть с помощью анализа сырых данных.
2. Оценить объем и тип уже имеющихся и потенциально доступных вам данных.
3. Учесть имеющиеся ресурсы, такие как бюджет, навыки команды и ваш опыт работы с данными.
4. Исследовать рынок инструментов для анализа данных и выбрать те из них, которые наиболее подходят для решения поставленных задач. Большие организации располагают ресурсами для создания своих собственных персонализированных инструментов. Среднему и малому бизнесу есть смысл изучить сервисы с гибкими тарифами, чтобы не переплачивать за те функции, которые им не нужны.
5. Протестировать инструменты с точки зрения достижения целей.
6. Мониторить рынок и при необходимости в будущем переходить на другие инструменты.

Мы живем в эпоху Big Data и активного внедрения искусственного интеллекта — и сырые данные сейчас играют ключевую роль, ведь именно они являются основой для анализа, получения ценных инсайтов и обучения моделей ИИ.

Обработка и анализ сырых данных будут становиться все более важными для бизнеса. Одним из главных трендов будет увеличение объемов и сложности данных, которые будут генерироваться каждый день. Но технологии Big Data (такие как Hadoop и Spark) будут развиваться дальше и смогут помочь обрабатывать все большее количество данных. Также будут появляться все новые инструменты для работы с Big Data.

Сервисы агрегации сырых данных, методы их анализа и визуализации будут несомненно улучшаться. Бизнесы и организации будут все больше ценить свои данные и стараться собирать их таким способом, чтобы вывести максимум полезных инсайтов и сэкономить время.

Другим трендом будет то, что ИИ и машинное обучение будут играть важную роль в анализе данных. Они будут внедряться в новые отрасли и позволят получать более точные и полезные результаты.

Государства по всему миру продолжат регуляцию данной сферы и будут вводить новые инструменты контроля цифровой сферы. За этим бизнесу стоит пристально следить, чтобы избежать нарушения правил и законов. Например, в России с сентября 2023 был введен в силу закон о маркировке интернет-рекламы. Теперь весь креатив в диджитал-рекламе надо регистрировать в Едином реестре интернет-рекламы и сдавать ежемесячные отчеты по показам.

Работа по защите прав граждан в области данных также будет продолжаться. Это затрагивает и такой аспект, где хранятся данных о пользователях. В России действует закон 152-ФЗ «О защите персональных данных», которому должно соответствовать все оборудование для обработки персональной информации российских граждан. Один из наших сервисов — это бесшовный перенос данных из хранилища Google BigQuery в ClickHouse на сервера, полностью сертифицированные для работы на территории России и имеющие уровень защищенности, требуемый законом.

В области сырых данных не исключено и появление так называемых «черных лебедей» — неожиданных изобретений, открытий и событий, которые полностью изменят эту сферу. С «черными лебедями» или без них — в любом случае, нас ждет много всего интересного.