蚂蚁集团开源大规模全链路因果学习系统 OpenASCE

当地时间 12 月 10 日,为期 6 天的 AI 国际顶会NeurIPS (Neural Information Processing Systems) 在美国路易斯安那州新奥尔良市开幕。NeurIPS 是全球人工智能和机器学习领域的顶级会议,与 ICML 并称为人工智能领域难度最大,水平最高,影响力最强的会议。

会议首日,中国互联网企业蚂蚁集团受邀举办主题为“知识增强AI 在垂直行业的应用探索”(Knowledge-enhanced AIfor Industry Verticals)的研讨会,并在会上开源了业界首个分布式全链路因果学习系统OpenASCE(Open All-Scale Causal Engine)。

因果推断主要研究如何从数据中推断因果关系,是数据科学领域的重要分支,而传统的机器学习则主要依赖数据中的相关关系。融合因果推断和机器学习可以同时发挥两者的强项,我们称之为因果学习。因果学习作为一种深入理解数据和决策背后关系的技术,在数据驱动的运营和决策中扮演着重要的角色。OpenASCE (OpenAll-Scale Causal Engine) 根植于蚂蚁集团多年积累的实践经验和技术突破,相较于业界已有的一些开源框架,支持全链路大规模因果学习,包含因果发现、因果效应估计和归因,覆盖了因果各个领域的相应实现。在因果发现上,OpenASCE 支持分布式贝叶斯网络结构搜索,能够处理百节点百万样本数据;同时支持基于连续优化的因果发现,支持万级节点亿级样本数据。

OpenASCE 实现的大规模分布式因果纠偏树可以在 4 小时内完成 1 亿样本的训练任务,是业界唯一的分布式因果提升树实现。此外,OpenASCE 还进一步沉淀了 20 多个工业级因果学习算法,包括 15 个以上因果技术和深度学习结合的因果表征学习方法,有效降低了因果技术的工业应用门槛,在蚂蚁集团内部实现了规模化应用。

比如信贷风控团队通过OpenASCE 的因果学习方法,可以更准确地识别出风险因素和客户行为之间的因果关系,大幅提高了风险控制的精度和效率。在营销优化方面,OpenASCE 能够帮助营销人员有效寻找“营销敏感人群”,提升业务指标。在推荐场景中,因果推断可以帮助机器学习纠正数据中的偏置,去除伪相关,学习更稳定的因果关系。

据了解,技术开源是蚂蚁集团的重要技术战略,蚂蚁集团在人工智能、数据库、云计算、隐私计算、安全可信等领域都拥有自主可控的关键开源技术,截至目前,共计开源了1700 多个代码仓库,积累了 100 多个社区头部开源项目。《COPU2022 中国开源发展蓝皮书》显示,蚂蚁开源影响力排名国内前三,其中重点开源的 9大技术均为支撑支付宝的核心技术。