Лучшие подходы к сбору данных

Оцените состояние текущих данных и поставьте цели

Сбор данных может оказаться сложной задачей для бизнеса, имеющей ряд подводных камней. Они включают в себя обеспечение качества данных, их актуальности, управление объёмом данных и, самое главное, обеспечение всего этого при сохранении конфиденциальности. Сбор данных обычно начинается с оценки состояния текущих данных, включающей в себя:

1. Выявление источников данных. Существуют различные источники, генерирующие интересующие нас данные. Для начала важно определить самые нужные из них. К ним можно отнести:
   • совокупность бизнес-приложений;
   • веб-приложения;
   • соцсети;
   • устройства;
   • базы данных.
2. Определение наличных типов данных, которые могут быть структурированными, полуструктурированными и неструктурированными.
3. Определение формата данных: JSON, XML, CSV, Avro, Parquet и др.
4. Определение объёма данных. Некоторые проекты могут требовать больших объёмов данных, для обработки и хранения которых понадобятся специализированные инструменты. К ним, в частности, относятся мероприятия по изучению больших данных как таковых.
5. Оценка необходимости получения данных в режиме реального времени. На этом этапе нам нужно определить приемлемый уровень задержки, обычно зависящий от конкретного случая или отрасли. В частности, отслеживание данных о поведении клиентов в идеале должно происходить в режиме реального времени.
6. Определитесь с целью сбора данных. Данные могут собираться с различными целями. Возможно, вы стремитесь улучшить свои возможности в области прогнозирования и разработать варианты внедрения машинного обучения, для чего требуются обучающие модели с использованием больших массивов данных, которые, вероятно, потребуется подпитывать информацией, собираемой в ходе тематических исследований и опросов. Также нам может понадобиться собирать клиентские данные с целью лучше понять поведение наших клиентов и улучшить общий процесс продаж или для простого их анализа и бизнес-аналитики.

Изучите связанные с данными законы и нормативные акты

Несоблюдение законов и нормативных актов о сборе данных способно привести к серьёзным последствиям для бизнеса, включая юридические санкции, нанесение ущерба бренду и потеря доверия клиентов. Поэтому важно изучить и понять соответствующие нормы, характерные для вашей отрасли и территории. В частности, в 2018 г. в Евросоюзе вступили в силу Общие правила защиты данных (GDPR), являющиеся одним из наиболее важных нормативных актов, которые европейские компании должны учитывать при сборе клиентских данных. Они регулируют порядок сбора и использования компаниями информации о потребителях, включая требование о получении явного их согласия и защите собранных данных.

При изучении законодательства в области обработки данных компаниям следует также учитывать отраслевые нормативные акты, применимые к их сектору.

Повысьте эффективность сбора

Без надлежащих инструментов, позволяющих компаниям добиться максимальной эффективности, сбор данных может отнимать много времени и ресурсов. Автоматизация позволяет сэкономить как время, так и ресурсы, устранить любые ошибки при вводе данных, улучшить их качество и увеличить скорость их анализа. К соответствующим инструментам можно отнести:

• онлайн-формы и опросы, доступ к которым можно получить через QR-код;
• API-интерфейсы для сбора данных в соцсетях, на сайтах и в приложениях;
• захват изменения данных (CDC) способен отслеживать обновления транзакций в базе данных в режиме реального времени;
• платформы клиентских данных (CDP) для отслеживания и сбора данных о поведении клиентов на сайтах и в веб-приложениях;
• инструменты ETL/ELT для оптимизации сбора и обработки данных.

Обеспечьте актуальность и точность данных

Актуальность собираемых данных связана с требованием того, чтобы они были как можно ближе к интересующей нас области, а точность гарантирует их соответствие действительности. Обеспечение и того, и другого способствует улучшению общего процесса принятия решений. Сделать это можно следующим образом:

• Собирайте данные адекватными методами. Так, например, для проведения эксперимента по прогнозному анализу уместно собирать данные из анкет, фокус-групп и тематических исследований.
• Наладьте регулярный сбор данных и их актуализацию в соответствии с происходящими изменениями и тенденциями для обеспечения более качественного анализа.
• Организуйте данные в надлежащем безопасном хранилище, упрощающим управление ими, контроль над ними и их обновление.

Установите целевые показатели точности данных и регулярно просматривайте графики эффективности, используя различные инструменты для наблюдения за данными, позволяющие отслеживать и оценивать их общее состояние и актуальность.

Тестируйте методы сбора данных

Независимо от того, какой метод сбора данных вы применяете, важно его протестировать, чтобы убедиться в его пригодности для сбора полезных данных, способных принести пользу вашему бизнесу. Это нужно делать на двух этапах — до сбора данных и после:

• Вопросы должны быть чёткими и не предусматривать способных привести к путанице двусмысленностей.
• Вопросы для пользователей должны быть краткими, интересными и неутомительными.
• Вопросы не должны вызывать у респондентов таких негативных чувств, как дискомфорт или защитная реакция.

Далее необходимо проверить качество собираемых данных на предмет того, обрабатываются ли они в соответствии с заданной схемой и не произошло ли их повреждение. Здесь можно использовать следующие методы:

• Выборка данных. Это статистический подход, используемый при анализе данных, заключающийся в выборе определённого их подмножества из более крупного набора. Его цель состоит в том, чтобы получить меньший по размеру и более простой в управлении набор данных для анализа, позволяющий получить представление о большем массиве данных.
• Профилирование данных. Это процесс анализа и изучения особенностей набора данных с помощью статистического анализа, визуализации и исследования, предполагающий получение сводной информации о недостающих данных, нулевых значениях, а также о любых других возможных аномалиях.
• Проверка данных. Она необходима для обеспечения точности, полноты и согласованности данных. Её целью является выявление ошибок и несоответствий в данных и их исправление или указание на них для дальнейшего рассмотрения или принятия мер.

Обеспечьте прозрачность сбора данных

Быть прозрачным при сборе данных означает быть открытым и честным в отношении того, как собираются данные, какие именно это данные и как вы из собираетесь использовать. Её можно достичь следующими способами:

• Обеспечением официального получения согласия в соответствии с различными законами и нормативными актами, действующими в вашем регионе или отрасли. Это можно осуществить, включив заявления о конфиденциальности в онлайн-формы или используя диспетчер разрешений для файлов cookie при сборе данных через Интернет.
• Формированием чёткого представления об используемых методах и целях сбора данных, которые могут состоять в проведении исследования по конкретной теме или улучшении качества обслуживания клиентов через предоставление более персонализированных рекомендаций.
• Документированием процесса сбора данных и использованием стандартов их именования.
• Сбором только необходимых данных. Это выгодно как поставщикам данных, так и использующим их компаниям, поскольку затраты на их хранение здесь уменьшаются.

Следите за целостностью и безопасностью данных

В условиях растущей зависимости от данных в современных рыночных условиях, когда вам необходимо достигать целевые показатели эффективности и, в конечном счёте, принимать разнообразные бизнес-решения, становится как никогда важно, чтобы на собранные данные действительно можно было положиться. Под целостностью данных понимается их точность, согласованность и надёжность данных на протяжении всего их жизненного цикла. Её достижение предполагает обеспечение полноты, корректности и непротиворечивости данных, а также того, чтобы они ни в малейшей степени не были изменены или утеряны. Это можно сделать следующими способами:

• Проверка данных. Она необходима для обеспечения точности собранных данных перед вводом в систему и может быть реализована в форме проверок качества данных на различных этапах процесса их анализа.
• Регулируемый доступ к данным. Он может предполагать внедрение жёсткого контроля доступа согласно принципу наименьших привилегий, предоставляющий минимальные полномочия, необходимые для выполнения конкретной задачи. Это можно осуществить путём настройки доступа, его предоставления только в установленные сроки и управления доступом на основе ролей.
• Резервное копирование и восстановление данных. Наличие резервных копий данных способно защитить от системных сбоев, повреждения данных или незаконного доступа к ним.
• Контрольные журналы. Они позволяют отслеживать изменения в данных, их источник и время возникновения. В идеале они должны быть частью платформы или автоматизированного процесса без возможности внешнего доступа.
• Безопасное хранение данных. Храните данные в безопасном месте, например, на сервере с паролем или защищённой облачной платформе, поддерживающей шифрование для предотвращения несанкционированного доступа.

Заключение

Следование проверенным подходам к сбору данных помогает компаниям принимать более взвешенные решения, лучше оценивать ситуацию и делать более точные выводы на основе собранных данных. Кроме того, они позволяют защитить конфиденциальность и безопасность различных заинтересованных сторон, что особенно важно в современном мире. Чтобы получить возможность воспользоваться преимуществами качественного анализа данных и извлечённой из них информации, бизнесу необходимо уделять приоритетное внимание использованию передовых методов их сбора.