Neptune.ai

Lev Kovalenko

Neptune components

Использование

import neptune.new as neptune
from sklearn.datasets import load_wine
...

run = neptune.init_run()
data = load_wine()
X_train, X_test, y_train, y_test = train_test_split(...)

PARAMS = {"n_estimators": 10, "max_depth": 3, ...}
run["parameters"] = PARAMS

clf = RandomForestClassifier(**PARAMS)
...

test_f1_score = f1_score(y_test, y_test_pred.argmax(axis=1), average="macro")
run["test_f1"] = test_f1_score
run["model"].upload("model.pkl")

Просмотре данных

Анализ метаданных

Что можно отслеживать

  • Data
  • Learning logs
  • TF/Pytorch checkpoints
  • Models
  • Metadata
  • Notebooks

Ограничения

  • Количество логов-часов
  • Объем хранилища

Pros&Cons

Pros

  • Self-hosted версия
  • Любые данные
  • Подробная документация
  • Анализ метаданных
  • Есть live-tracking обучения
  • Переиспользуемо в прод
  • Интегрируемо с разными Фреймворками

Cons

  • Требует специальное приложение neptune.ai
  • Внесение изменений в код
  • Не git-like инструмент
  • Не тривиальная колоборативная работа