阿里妹导读：本文来自蚂蚁金服人工智能部认知计算组的基础算法团队。文章介绍了一套创新算法与架构，通过对TensorFlow底层的弹性改造，解决了在线学习的弹性特征伸缩和稳定性问题，并使用自研算法优化了模型稀疏性。该算法在支付宝核心推荐业务中获得了显著的UVCTR提升，并大幅提升了链路效率。
一、综述
在线学习因其能捕捉用户动态行为并实现模型快速自适应的特点，成为提升推荐系统性能的重要工具。它对链路和模型的稳定性以及训练系统的性能都提出了很高的要求。本文旨在介绍在解决这些挑战的过程中，我们如何对TensorFlow进行弹性改造，以及改造后取得的显著效果。
二、弹性改造及优势
我们的改造主要涉及两方面：特征的动态增删以及模型的稳定性与稀疏性优化。我们使用HashMap实现了基于字典行为的Variable，从而实现了特征的动态增加和删除。我们使用Group Lasso优化器和频次过滤来提高模型的稀疏性，明显提升了线上效果。我们还优化了离线和在线学习任务，简化了训练过程并加速了模型上线。
三、特征动态增删技术
我们主要使用了流式频次过滤和Group Lasso优化器两种技术来实现特征的动态选择。Group Lasso优化器能够根据模型的训练情况，对特征进行筛选和删除，从而降低过拟合的风险。而流式频次过滤则能够实时统计特征的出现频次，为特征提供准入门槛，进一步实现稀疏化。
四、模型压缩和稳定性
在模型压缩方面，我们通过裁剪非TF原生算子、记录模型非零值等方式，将模型体积压缩90%，同时保证了模型打分的一致性。在模型稳定性方面，我们通过实时监控线上效果与模型训练效果，一旦发现样本偏差过多就触警，从而保证模型的稳定性。
五、工程实现和效果
我们的算法已经在支付宝首页的多个推荐位上线，并取得了显著的实验效果。在线上多模型融合最优桶的对比中，我们的online learning桶近期一周提升了4.23%，相比随机对照提升达34.67%。在另一资讯推荐业务中，相比DNN基准uv-ctr提升了0.77%，pv-ctr提升了4.78%。模型的体积压缩90%，链路效率提升50%。
六、未来工作
未来，我们将继续在工程和算法两方面进行深化研究。在工程上，我们将优化链路实时性，实现模型增量更新；在算法上，我们将探索样本重要性采样、自动特征学习、在线线性规划与DNN的结合等技术，以实现更优的模型性能。
七、总结
McMahan, H. Brendan等人所著的文献[2]探讨了"Ad click prediction: a view from the trenches"的主题，该研究是在2013年的ACM SIGKDD国际知识发现与数据挖掘会议上进行的。
Yuan Ming和Yi Lin在文献[3]中研究了回归模型中分组变量的模型选择和估计问题，该研究发表在《Journal of the Royal Statistical Society: Series B (Statistical Methodology)》杂志上。
Andrew, Galen和Jianfeng Gao在文献[4]中提出了对L 1-regularized log-linear模型的扩展训练方法，这一研究是在2007年的第24届国际机器学习会议上进行的。
Scardapane等人在文献[5]中研究了深度网络的组稀疏正则化方法，相关内容发表在《Neurocomputing》杂志上。
Yang Haiqin等人研究了在线学习的组Lasso方法，这一成果在文献[6]中进行了介绍，并发表在2010年的第27届国际机器学习会议上。
Zhou Yang、Rong Jin和Steven Chu-Hong Hoi在文献[7]中探讨了多任务特征选择的排他性Lasso方法，这项研究是于第13届人工智能和统计国际会议上发表的。
Yoon Jaehong和Sung Ju Hwang的联合工作——在文献[8]中提出了结合组排他性稀疏性的深度网络方法，该研究是在国际机器学习会议上发表的。
Langford, L. Li和T. Zhang在文献[9]中提出了通过截断梯度法实现稀疏在线学习的方法，这项工作被收录在了JMLR期刊中。
在文献[10]中，L. Xiao提出的正则化随机学习与在线优化的双平均法是在NIPS上发表的。