Workflow managers

Lev Kovalenko

Почему это важно?

Фиксация последовательности исполнения.

Упрощение воспроизведения результатов.

Распределение вычеслений.

Первое и самое важное мы фиксируем последовательность действий для повторения экспериментов. С помощью таких иснтрументов мы описываем как, в какой последовательности, с какими параметрами надо выполнять все написанные скрипты.

Так же мы получаем единый интерфейс для всего проекта, то есть будет использоваться не cli скриптов, а workflow manager для запуска и получения результатов. Это упрощает воспроизвдение исследваоний, потому что не нужно будет ручками запускать все команды, или ипользовать какие-то самописные скрипты типа sh скриптов. То есть человеку который захочет воспроизвести исследвоания достаточно будет знать как пользоваться workflow manager, а не разбираться в ваших скриптах.

Ну и последний поинт, такие инстурменты позволяют проводить распределенные вычесления и берет на себя весь оверхед связанный с распределением и синхронизацией задач. Вам не потребуется прописывать это на уровне кода.

Основные требвоания

Понятный и простой синтаксис

Модульность

Параметризация

Построение DAG на основе файлов

Поддержка ограничений на ресурсы

Поддержка виртуальных окружений

Не зависимость от языка

Рапсределенные вычесления

Правила рядом с кодом

Первое что важно - простой и понятный синтаксис. Я не хочу в угоды озвученных ранее поинтов тратить огромные усилия на поддержку пайплайна. Сразу можно сказать что новые члены команды или другие исследваотели врядли разберутся в нем, да и вернутся к проекту с таким пайплайном будет тяжело.

Второе - модульность, огромный файл с кучей правил, тоже тяжело для осознания, хочется отделять очистку данных от обучения моделей. Это будет интуитивно понятно, если правила будут разделены на несколько модулей, будет понятно куда добавлять новые правила и где искать нужные.

Еще важна возможность параметризации правил, я не хочу писать десять правил, что бы у меня выполнилось одно и тоже правило но с разными параметрами, я хочу перечислить возможные параметры для этого правила и пусть workflow manager сам запустит это правило столько раз сколько нужно.

Поскольку наше исследование это некоторый ациклический граф, а основными артефактами являются данные, метркии, графики, то есть некоторые файлы, то важно что бы менджер выстраивал последовательность действий на основе файлов. Конечно можно дополнительно прописывать последовательность исполнения или зависимости между правилами, но у нас это и так будет задано на уровне файлов, зачем делать дополнительную работу.

Так же хочется что бы могли ограничивать ресурсы требуемые для исполнения правил, что бы workflow manager мог эффективно их паралелить и не было такого, чо бы два правила требовали GPU в один момент времени. То есть не появлялось каких-то конфликтов за ресурсы. если инструмент не поддерживает такие ограничения, то для DS он бесполезен, так как могут появляться окнфликты и ошибки при выполнении.

Еще один момент, это поддержка виртуальных окружений. Иногда требуется добавлять специфичные зависимости для определенных правил или менять язык исполнения с python на c++. Хочется что бы workflow менджер все этог запускать в некоторых изолирвоанных средах окружения. Ну и по этой же причине хочется не зависеть от определенного языка, так как бывает необходимость сменить один язык на другой.

Поддрежка распределенных вычеслений тоже важный момент. Раз уж мы используем такой инструмент, то классно было бы уметь запускать все задачи распределенно и синхронизировать их.

Ну и последнее, я хочу спокойно хранить в git все правила, что бы они также версионировались и собственно инстурмент мог по моему репозиторию все запустить.

Workflow managers

Почему это важно?

Основные требвоания

Directed Acyclic Graph