- это практика мониторинга и управления данными.
Она обеспечивает их качество, доступность и надежность
В ее основе лежит отслеживание метрик качества данных, которые объясняют, как они измеряются - количественно или качественно.
Практика наблюдаемости отслеживает следующие метрики: Соотношение данных и ошибок.
Чтобы вычислить этот коэффициент, нужно измерить количество известных ошибок данных в наборе и соотнести с общим размером набора.
Когда ошибок становится меньше, а объем данных остается постоянным или увеличивается - качество данных повышается. Количество пустых значений.
Пустые значения указывают на отсутствие важной информации или на то, что она была записана в неверное поле. Ошибки преобразования данных.
Проблемы с переводом данных из одного формата в другой указывают на проблемы с их качеством. Объем темных данных.
Темные данные компания собирает и хранит, но никак не использует.
Большие объемы темных данных указывают на проблемы с качеством данных, поскольку никто не удосуживается их изучить.
Многие компании не до конца осознают потенциальную ценность имеющихся у них данных.
Чтобы использовать эти данные, их нужно извлечь, оценить их корректность, согласованность и полноту. Расходы на хранение данных.
Если цены на хранение данных растут, а объем используемых данных не меняется, то часть данных плохого качества.
Время получения ценности от данных.
Большое количество ошибок при преобразовании данных или потребность в ручной очистке указывают на низкое качество данных.
Чем быстрее команда преобразует данные в бизнес-ценность, тем выше качество данных.
Показатели отказов электронной почты.
Продажи и маркетинг могут быть успешными только при наличии качественного списка адресов электронной почты.
Данные о текущих и потенциальных клиентах могут быстро деградировать, что снижает качество наборов данных и эффективность кампаний. Процент дублирующихся записей.
Дублирующиеся записи появляются из-за ошибок ввода данных, системных проблем или по другим причинам.
Их количество отражает качество управления данными. Задержки обновления данных.
Нерегулярное обновление данных приводит к принятию решений на основе устаревшей информации.
Эта метрика помогает поддерживать актуальность и релевантность данных. Инциденты в конвейере данных.
Конвейеры данных - это системы, которые собирают, обрабатывают и передают данные из одного места в другое.
Мониторинг количества инцидентов в конвейерах, таких как сбои или потеря данных, помогает командам выявлять места, где целостность данных может быть нарушена. Работоспособность таблиц.
Это обобщенный показатель, который измеряет общую работоспособность таблицы базы данных.
Он включает количество пропущенных значений, диапазон данных и целостность записей в таблице - метрики, обеспечивающие комплексную оценку качества данных для отдельных наборов.