怎样管理MLflow实验跟踪

管理 MLflow 实验跟踪（Experiment Tracking） 的核心目标是：可复现、可对比、可回溯 的机器学习实验过程。下面从 概念 → 实践 → 进阶管理 三个层次系统说明。

一、MLflow 实验跟踪的核心概念

二、管理实验的基本流程

1️⃣ 设置 Tracking URI（关键）

import mlflow
mlflow.set_tracking_uri("http://127.0.0.1:5000")

常见方式：

2️⃣ 创建 / 选择 Experiment

mlflow.set_experiment("bert-text-classification")

✅ 建议：

• 一个项目一个 experiment
• 不同模型或数据版本用不同 experiment

3️⃣ 记录实验（Run）

with mlflow.start_run():
mlflow.log_param("learning_rate", 5e-5)
mlflow.log_param("epochs", 3)
mlflow.log_metric("train_loss", 0.3)
mlflow.log_metric("val_accuracy", 0.85)
mlflow.log_artifact("config.yaml")

✅ 最佳实践：

• 参数：只记录影响结果的
• 指标：记录训练 & 验证
• artifact：模型、日志、图表

4️⃣ 保存模型

mlflow.sklearn.log_model(model, "model")

或 PyTorch / TensorFlow：

mlflow.pytorch.log_model(model, "model")

三、实验管理的 7 个关键策略

✅ 1. 规范 Experiment 命名

推荐格式：

<项目名>-<任务>-<版本>

例：

nlp-sentiment-v1
cv-resnet50-aug
recsys-ctr-baseline

✅ 2. 使用 Run Name 区分实验

with mlflow.start_run(run_name="lr=5e-5-bs=32"):
...

✅ 3. 记录 Git & 环境信息（强烈推荐）

import git
mlflow.log_param("git_commit", git.Repo().head.commit)
mlflow.log_artifact("requirements.txt")

✅ 能极大提升可复现性

✅ 4. 用 Tags 做实验分类

mlflow.set_tag("model", "BERT")
mlflow.set_tag("dataset", "IMDB")
mlflow.set_tag("status", "tuning")

常用 tag：

• model
• dataset
• author
• priority
• stage（dev / staging / prod）

✅ 5. 对比实验（UI 或 API）

UI 对比

• 打开 mlflow ui
• 勾选多个 Run
• 对比参数 & 指标

API 对比

from mlflow.tracking import MlflowClient
client = MlflowClient()
runs = client.search_runs(experiment_ids=["1"])

✅ 6. 自动清理无用实验

client.delete_run(run_id)

或定期：

• 删除失败 run
• 删除低指标 run

✅ 7. 后端存储分离（生产级）

不要只用本地文件
推荐架构：

Tracking Server
├── Backend Store (MySQL / PostgreSQL)
└── Artifact Store (S3 / MinIO / NFS)

示例：

mlflow server \
--backend-store-uri mysql+pymysql://user:pwd@host/mlflow \
--default-artifact-root s3://mlflow-artifacts \
--host 0.0.0.0

四、典型实验管理流程（总结）

1. 新建 Experiment
2. 固定随机种子
3. 记录参数 / 指标 / 模型
4. 用 Tag 分类
5. UI 对比实验
6. 选出最优 Run
7. 注册模型（Model Registry）

五、常见错误 & 规避

六、进阶方向

• ✅ MLflow Model Registry（模型版本管理）
• ✅ 自动日志 mlflow.autolog()
• ✅ CI/CD 集成
• ✅ 多用户权限管理（结合 MLflow Server）

如果你愿意，我可以帮你：

• ✅ 设计 MLflow 目录 & 实验规范
• ✅ 写 PyTorch / TensorFlow 模板
• ✅ 搭建 生产级 MLflow Server
• ✅ 对比 MLflow vs Weights & Biases / ClearML

你现在是在 本地实验 还是 团队/生产环境？