Skip to content

overview.md

Latest commit

 

History

History
65 lines (43 loc) · 6.17 KB

overview.md

File metadata and controls

65 lines (43 loc) · 6.17 KB
Raw

Песочница данных: о чём речь простыми словами

Что это

DataOpsShowcase — это учебный стенд: набор сервисов, который имитирует работу крупной аналитической платформы, как в интернет-магазине или маркетплейсе. Данные не настоящие клиенты, а синтетика, зато потоки и шаги обработки похожи на реальные.

Зачем она нужна

  • Без риска для бизнеса опробовать, как устроены заказы, оплаты, доставка и отчёты в одной «машине».
  • Понять на примере, из чего состоит data-платформа: от события до витрины и отчёта.
  • Согласовать ожидания между бизнесом, аналитикой и IT: на стенде видно, где тратится время, где нужны деньги и люди.

Что за бизнес-история

Мы договорились, что за данными стоит маркетплейс электроники (TechMart): продавцы, покупатели, заказы, скидки, логистика. Это образ, а не реальная компания — удобный язык, чтобы говорить о продажах, остатках, задержках и рисках.

«Фантомный бизнес» в песочнице

Под «фантомным бизнесом» здесь понимается искусственно созданная операционная компания TechMart, у которой нет реальных клиентов/контрагентов, но есть правдоподобные бизнес-процессы и данные.
Это сделано специально, чтобы безопасно показывать end-to-end аналитику без использования продовых данных.

Зачем он нужен

  • Проверять пайплайны и дашборды на потоке, близком к реальному.
  • Держать единый контекст для демо: все обсуждают одну и ту же «компанию».
  • Тестировать сценарии отказов/деградаций без рисков для реального бизнеса.

Как генерируется

  • Контейнер data_generator (профиль generators) запускает тиковую генерацию.
  • Параметры компании/объёмов задаются в configs/generators/company.generator.json и могут переопределяться env-переменными.
  • Данные одновременно публикуются в несколько sink-каналов: postgres_oltp, Kafka, MinIO, Redis.
  • Для расширенных доменов (marketing/SEO/HR/features/finance) используются дополнительные генераторы и префиксы/топики.

Какие сущности создаются

  • Базовый ритейл-контур: пользователи, продавцы, товары, заказы, позиции заказа.
  • Платежи, доставки, clickstream-события и файловые выгрузки (returns/catalog/payments).
  • Расширенные сущности: маркетинговые кампании и email-события, SEO-ключи/сессии, HR-данные, feature flags, GL-проводки.
  • В заказах присутствуют как «канонические», так и легаси-подобные записи (order_lineage = legacy_stub) для реалистичных кейсов согласования данных.

Как используется в демо-пайплайнах

  • Генератор наполняет raw-слой для ingestion DAG в Airflow.
  • Далее поток проходит Spark/preprocess, Data Vault, dbt marts/serving и DQ-проверки.
  • На выходе «фантомный бизнес» подпитывает BI (Superset), мониторинг, MLflow/NL2SQL и демонстрации управленческих сценариев из use_cases.md.
  • Допущение для текущего стенда: TechMart считается одной условной компанией с мультидоменными потоками; это сделано для простоты демо и согласования терминов между командами.

Какие процессы «воздушно» существуют

  • Продажи — кто, что и когда купил.
  • Платежи — прошла ли оплата, не было ли сбоев.
  • Логистика — доставка, сроки, задержки.
  • Поведение на сайте — что смотрели, что положили в корзину (в общих чертах).
  • Аналитика — витрины, отчёты, срезы по продавцам и товарам.

То же самое в виде 10 сценариев: use_cases.md.

С кем обычно полезен разговор

  • Владелец продукта — что можно показать демо и за какой срок.
  • Руководитель направления — на что опирается «цифра» и где узкие места.
  • Партнёры — уровень зрелости data-процессов без раскрытия ваших реальных данных.

Связка с пользой от стенда: value.md, платформа для стейкхолдеров (каталог, портал, будущий бот): platform_value.md. Техническое резюме: ../PROJECT_SUMMARY.md.