Engineering practices in ML

DVC — это средство управления версиями данных , автоматизации рабочих процессов машинного обучения и управления экспериментами , использующее преимущества существующего набора инструментов для разработки программного обеспечения, с которым вы уже знакомы (Git, ваша IDE, CI/CD и т. д.). DVC помогает специалистам по обработке данных и машинному обучению управлять большими наборами данных, обеспечивать воспроизводилось проектов и улучшать совместную работу.

DVC modules

DVC storages

Amazon S3
Microsoft Azure Blob Storage
Google Cloud Storage
SSH
HDFS
HTTP
Local

Использование

Инициализация dvc репозитория

dvc init
git commit -m "Initialize DVC"

Добавление данных

dvc add data/data.csv
git add data/data.csv.dvc data/.gitignore
git commit -m "Add raw data"

Обновление данных

dvc commit
git commit -m "Change data"

Добавление хранилища

dvc remote add -d --project gdrive gdrive://<url>
git add .dvc/config
git commit -m "Configure remote storage"

Отправка в хранилище

dvc push

Выгрузка из хранилиища

dvc pull

Переключение между версиями

git checkout <git-reversion>
dvc checkout

CI-CD

Так как мы в команде используем dvc, то уделим ему чутка побольше времени. Например тому как его можно встроить в CI.

Мы достаточно много сил вкладываем в развитее компетенции MlOps в команде. Одним из инструментов, который качественно улучшил процесс работы - DVC

Вообще зачем нужен CI-CD в DS проектах?

Во-первых, мы можем автоматизировать и принудительно проводить тестирование. Ну не совсем тестировать, скорее проводить smoke test проведенных исследований. Проверять воспроизводиться они или нет.

Проверка данных: мы можем проверить, что после запуска скриптов мы получили те же данные. Более сложные проверки - проверка по схеме или проверка согласованности конвейера — правильные формы, типы данных и т. д.
Проверка модели: Опять же проверить, что модель осталась идентичной после исполнения скриптов. Так же есть более сложные проверки, например оценка качества на отложенной выборке, проверка воспроизводимости и тд.

Во-вторых, мы можем организовать поставку моделей и отчетов. Так как мы можем версионирвоать все метрики и результаты, то сгенерировать отчет очень просто. Забегая вперед, dvc позволяет генерировать отчеты об экспериментах, но это подробнее разберем позже.

Что же делает тут DVC - устраняет необходимость в создании баз данных версий, использовании специальных структур файлов/папок или написании специального кода интерфейса. Без DVC пришлось бы строить свою систему версионирования артефактов и пытаться ее привязать к результатам исполнения. Вместо этого DVC хранит метаинформацию в Git («кодирование» данных и моделей машинного обучения), в то же время отправляя фактическое содержимое данных в облачное хранилище. DVC также обеспечивает управляемую метриками навигацию в репозиториях Git.

DVC live

from dvclive import Live

with Live() as live:
    live.log_param("epochs", NUM_EPOCHS)

    for epoch in range(NUM_EPOCHS):
        train_model(...)
        metrics = evaluate_model(...)
        for metric_name, value in metrics.items():
            live.log_metric(metric_name, value)
        live.next_step()

DVC api

import dvc.api
with dvc.api.open(
    'get-started/data.csv',
    repo='https://github.com/iterative/dataset-registry'
) as f:
    # ... f is a file-like object

Pros&Cons

Pros

Любые данные и хранилища
Git like инстурмент
Есть live-tracking обучения
Переиспользуемо в прод
Интегрируемо с разными Фреймворками
Не требует изменений в коде
Улучшение CI-CD
Много документации
Есть свои инструменты для колоборативной работы

Cons

Не всегда воспринимает gitignore файлы
Полностью зависит от репозитория
Немного деревянный инструмент