DVC

Lev Kovalenko

DVC pipelines

Pipeline

stages:
  prepare: ... # stage 1 definition
  train: ... # stage 2 definition
  evaluate: ... # stage 3 definition

Stage

stages:
  prepare:
    cmd: source src/cleanup.sh
    deps:
      - src/cleanup.sh
      - data/raw
    outs:
      - data/clean.csv

Конвейеры представляют рабочие процессы данных, которые вы хотите надежно воспроизвести , чтобы результаты были согласованными. Типичный процесс конвейерной обработки включает в себя: - Добавить исходные данные в dvc - Определить этапы пайплайна - stages - Добавить выходные данные и дополнительные данные, например метрики, графики и параметры.

Stages обычно берут некоторые данные и запускают некоторый код, создавая выходные данные (например, модель ML). Конвейер формируется путем их взаимозависимости, что означает, что выходные данные одного этапа становятся входными данными другого и так далее. Технически это называется графом зависимостей (DAG).

Каждый этап обертывает исполняемую команду оболочки и определяет любые файловые зависимости , а также выходные данные . Давайте посмотрим на примерный этап: он зависит от файла скрипта, который он запускает, а также от необработанных входных данных (в идеале уже отслеживаемых DVC).

Stage parametrs

stages:
  train:
    cmd: ...
    deps: ...
    params: # from params.yaml
      - learning_rate
      - nn.epochs
      - nn.batch_size
    outs: ...

Более детализированным типом зависимости является параметр ( paramsполе dvc.yaml) или гиперпараметры в машинном обучении. Это любые значения, используемые внутри вашего кода для настройки обработки данных или иным образом влияющие на выполнение этапа. Например, для обучения нейронной сети обычно требуются значения batch size и epochs count

Вместо того, чтобы жестко задавать значения параметров, ваш код может считывать их из структурированного файла (например, в формате YAML). DVC может отслеживать любую пару ключ/значение в файле поддерживаемых параметров ( params.yamlпо умолчанию).

Stage outputs

Files
Metrics
Plots

Выходные данные этапа — это файлы (или каталоги), полученные после исполнения пайплайна, например модели машинного обучения, промежуточные артефакты, а также графики и метрики. Эти файлы кэшируются DVC автоматически и отслеживаются с помощью dvc.lock файлов (или .dvc файлов).

Выходы могут быть зависимостями последующих этапов (как объяснялось ранее). Поэтому, когда они изменяются, DVC может также потребоваться воспроизвести последующие этапы (обрабатывается автоматически).

Типы выходов:

Файлы и каталоги: обычно данные для передачи на промежуточные этапы, а также окончательные результаты пайплайна (например, набор данных или модель машинного обучения).
Метрики : DVC поддерживает небольшие текстовые файлы, которые обычно содержат метрики производительности модели на этапах оценки, проверки или тестирования жизненного цикла машинного обучения. DVC позволяет сравнивать полученные метрики друг с другом с помощью dvc metrics diff и представляет результаты в виде таблицы с помощью dvc metrics show или dvc exp show.
Графики : различные виды данных, которые можно изобразить в виде графика. Например, сравните статистику производительности машинного обучения или непрерывные показатели из нескольких экспериментов. dvc plots show может создавать диаграммы для определенных файлов данных или отображать для вас пользовательские файлы изображений, или вы можете сравнивать разные файлы с файлами dvc plots diff.

Pros&Cons

Pros

Не зависит от языка
DAG на основе файлов
Правила рядом с кодом
Простая параметризация
Yaml формат
Вресионирование результатов
Мониторинг эксперимента

Cons

Сложное разбиение на модули
DAG deps пишутся вами
Нет виртуальных окружений
Нет ограничений на ресурсы
Нет распределенных вычеслений