什么是AutoML

定义

• AutoML（Automated Machine Learning）：将自动化和机器学习结合的系统方法。

• 目标：通过自动化平台完成大部分机器学习和深度学习流程，提高算法生产效率。

对比传统机器学习

AutoML 的主要内容

• 在传统机器学习中：
• 自动化数据工程
• 自动化模型选择
• 自动化算法优化

• 在深度学习（AutoDL）中：
• 自动数据处理与增强
• 自动化模型选择
• 自动化超参优化
• 自动模型压缩

自动化数据处理与增强

背景与挑战

• 深度学习模型通常需要大规模标注数据，标注过程耗费大量人力和时间。

• 许多任务数据难以采集，尤其是长尾样本可能造成误判。

自动化数据处理

• 利用已有模型进行自动辅助标注：
• 模型标注 + 人工纠偏 = 提高效率和质量。

• 纠偏数据再训练：利用纠偏样本增强模型性能。

自动化数据增强

• 传统数据增强：依赖领域专家完成。
• 方法：旋转、翻转、增加噪声等。

• 自动数据增强：
• AutoAugment（谷歌，2018年）：
• 定义 16 个常用数据增强操作。
• 每次训练随机选择增强策略。
• 通过强化学习找到最优增强策略。
• GAN 数据增强：
• 应用：生成眼镜、口罩等提升人脸识别精度；生成行人数据用于辅助行人重识别。

自动模型生成 - 神经架构搜索 (NAS)

背景与挑战

• 深度学习的成功依赖于神经网络架构和超参数调整，需要大量专业知识和时间。

• NAS（Neural Architecture Search）通过搜索算法寻找最优神经网络架构。

核心问题

• 搜索空间：
• 定义网络结构（深度、宽度等）和操作配置（算子类型、链接关系等）。
• 模块化搜索空间：
• 优势：减少搜索复杂度。
• 缺点：受限于预定义单元结构，可能限制最优解。

• 搜索算法：
• 强化学习：
• 通过试错获取奖励，迭代生成新的网络架构。
• 常用方法：RNN 控制策略、Q-learning、蒙特卡洛树搜索等。
• 进化算法：
• 模拟生物进化，随机初始化网络种群，通过选择、交叉、变异优化网络结构。



• 其他方法：贝叶斯优化、梯度优化、随机森林等。

• 模型评估：
• 低保真度方法：缩短训练时间，使用数据子集，降低计算成本。
• 迁移和权值共享：
• 如 One-Shot 模型，重用权值对子网络进行快速评估和排序。

模型压缩

背景与需求

• 部署深度学习模型时，常受限于延迟、功耗和存储，尤其在边缘设备上。

• 先设计高精度模型，再压缩优化以满足应用需求。

人工压缩技术

• 常用人工压缩方法：

自动模型压缩

• AMC（AutoML for Model Compression）：
• 韩松团队（2018）提出，利用强化学习优化剪枝策略。
• 目标：自动找到压缩策略，比手动压缩更高效。
• 特点：
• 资源受限压缩：优先减少延迟。
• 精度保证压缩：优先保留模型精度。

• 代表框架：
• 腾讯 AI Lab：PocketFlow。
• 百度：PaddleSlim。

总结与展望

未来方向

• 加强 NAS 和压缩技术的结合。

• 推进 AutoML 在边缘计算场景的适用性。

• 探索更多领域专家知识与 AutoML 技术的结合，提升通用性与灵活性。