3分彩官网平台_3分彩网投平台_3分彩投注平台_3分彩娱乐平台

让AI无处不在:滴滴与蚂蚁金服开源共建SQLFlow

时间:2019-10-15 16:46:35 出处:3分彩官网平台_3分彩网投平台_3分彩投注平台_3分彩娱乐平台

2018年1月,Oracle 的官方博客上发表了一篇文章,标题是“It’s Pervasive: AI Is Everywhere”。作为全球最著名的商业数据库系统提供商,Oracle 在这篇文章里历数了 AI 在企业信息系统中的发展空间。在面向

2018年1月,Oracle 的官方博客上发表了一篇文章,标题是“It’s Pervasive: AI Is Everywhere”。作为全球最著名的商业数据库系统提供商,Oracle 在这篇文章里历数了 AI 在企业信息系统中的发展空间。在面向最终用户的互联网行业,巨头们招募AI专家,用Python和C++打造服务大众的特定AI能力——搜索、推荐、以及精准定向的互联网广告系统。在企业业务中,使用SQL的分析师是大多数。

滴滴首席数据科学家谢梁(左)与蚂蚁金服研究员王益开启共建SQLFlow之旅

2019年7月,滴滴的数据科学(Data Science)团队的几名数据科学家在北京新澄海大厦见到了来自蚂蚁金服的几位工程师。在那前会 有十个 月,蚂蚁金服从事AI基础架构研发的王益团队开源了一款机器学习工具SQLFLow,将SQL系统任务管理器翻译成Python系统任务管理器,调用数据库和AI引擎,实现端到端的AI。滴滴首席数据科学家谢梁敏锐地关注到其他 项目。这次拜访双方一拍即合,开启了共建SQLFlow之旅。

用SQLFlow构建AI的训练和预测任务

数据分析师的普适AI

数据驱动决策是不要 不要 不要 不要 公司的追求,在国内不要 不要 不要 不要 业务人员都了解SQL,或者对于AI、深层学习模型的训练,需要长时间系统性的学习,有一定的门槛。SQLFLow的跳出让包括数据分析师在内的业务人员通过写简单的SQL去调用AI模型成为了或者。

滴滴数据科学团队长期地直面一线业务,了解业务需求,也沉淀了不要 不要 不要 不要 常用模型。本次媒体合作双方希望优势互补一齐助力AI的落地,据悉媒体合作分为三步,第一步滴滴为蚂蚁金服贡献更多针对于业务产品的理解和洞见;第二步滴滴将公司自身业务场景最有价值用的最好的模型贡献到SQLFLow;第三步滴滴加入到建设到整个SQLFLow开源社区的建设,双方要在模型、社区、文化等全方位共建。

SQLFlow的技术架构

有有十个 月的时间,滴滴或者为SQLFLow贡献了基于DNN分类预测模型、可解释模型和无监督聚类模型有十个 高价值模型。这有十个 模型覆盖的场景非常广泛,对于滴滴结构来说,包括网约车、单车、金融等在内的诸多业务场景都可应用起来,于结构而言,“或者整个模型它是并不是基础能力,其实它不要 局限于某有十个 公司或某有十个 行业,它具有普适性。”滴滴高级数据科学家高梓尧强调。

SQLFlow和滴滴数据的整合逻辑

比如分类预测模型,适用于做产品增长的场景,对特定人群进行定向推荐。而无监督聚类模型,要是要 不要 不要 不要 模式识别,在滴滴的产品的应用非常广,比如会根据司机出车时长分布,去整合归纳司机出车的偏好,更好地为司机提供调度建议,进而帮助缓解出行供需。

滴滴首席数据科学家谢梁认为在共建SQLFlow过程中,充分体现了算法和数据科学在对数据的理解和应用上的有十个 不同,以及双方优势互补形成1+1大于2的合力效果。或者对于传统的算法来讲主要强调对于预测有十个 给定事件的预测精准性。或者数据科学在预测精准性之上,还强调预测的可解释性。实际上在更广泛的商业层面上,比如运营、营销等更需要了解为哪几只会这也能也能 指在,这对于业务战略制定、营销方案的选用,以及整个产品序列的设计都在非常大的帮助。

滴滴数据科学团队在过去能也能 有十个 月的共建工作中显著扩大了SQLFlow的应用场景。根据蚂蚁金服SQLFlow项目的产品负责人刘勇峰介绍,滴滴的同事们建议或者参与研发了SQLFlow对接XGBoost的功能,从而在深层学习模型之外支持树模型;以及对接unsupervised learning的能力,支持聚类分析。此外,SQLFlow基于SHAP支持了深层学习模型和树模型的图示化解释。SQLFlow也支持了滴滴常用的Hive数据库系统。

基于XGBoost的汽车价格预测模型(数据来自Kaggle)的SHAP解释图(注:SHAP值表征了每个特征对模型输出的影响,如图中,较小的engine_hp“引擎马力”值会降低汽车的预测价格)

“大伙是希望通过SQLFlow真正也能把数据驱动业务、科学决策的思想,也能在中国传播得更好更远,也希望不要 不要 不要 不要 也能通过大伙所有人 的努力,真正让AI模型能力大众化和普及化,或者使得大伙整个国内的数据分析的科学性、合理性和洞察性,也能逐步提升,甚至达到国际领先。”高梓尧说。

而所有参与项目的同事们对SQLFlow的未来都在更大的期待,这是对于开源社区作为并不是高时延的工作模式的信任。

打造有十个 SQL花园生态

在强调数据驱动的滴滴其实十个 劲积极参与到开源建设中,截至目前,滴滴和蚂蚁金服分别开源了数十个 项目。SQLFlow是双方开源共建的首秀。

对于双方仅有有十个 月的时间就也能共建有十个 高价值的模型,谢梁认为怪怪的要的因为是SQLFlow或者给滴滴搭建好了底层能力,滴滴至少做了有十个 交通领域的几只核心插件,或者通过滴滴插件能力,对整个SQLFlow覆盖面和深层方面的底层能力进行了验证和提升,“也能也能 再把其他 基础打好前会 ,大伙就至少造了有十个 大的花园,大伙把土都铺好了,需要哪几只营养的土,要种哪几只类型的花,都给他做好了,前会 就需要有更多的农民伯伯一齐来种田,大伙要去种向日葵,大伙毕竟精力有限或者不要 不要 不要 不要 以种小麦和种主粮为主,更多的经济作物就需要其他开源社区的同学一齐来贡献。”

在整个SQLFlow开源社区建设方面双方都在更大的愿景,滴滴的分析团队总结的不要 不要 不要 不要 模型在 BI 领域具备普适性,而SQLFlow在蚂蚁的场景使用模型在金融领域颇有普适性,未来要让更多的人去用上普适的AI能力,在SQLFlow社区之上会形成有十个 开源货架式的交易市场,更多懂业务的人把更多商业场景抽象成模型打造成模型库,模型库是 SQLFlow 生态中的重要一环,双方正在讨论怎么共建。“你就像走进有十个 超市,里面有10万个SQL,每有十个 SQL不要 不要 不要 不要 有十个 实现了你商业逻辑的模型,你就拿来用就行了,这是终极的有十个 目标”,谢梁兴奋地谈到。

当然现在的SQLFlow还是有十个 非常年轻的开源项目,需要更多的呵护。其实目前在开源媒体合作方面中国相比美国还有不少差距,但正是或者不要 的公司和所有人 去投身其中为之贡献,差距正在缩小。

实际上,几乎所有的SQLFlow项目成员都在利用业余时间参与到开源项目中。比如滴滴资深算法工程师陈祥,他平时负责数据治理和应用方向上数据、应用与算法的结合和落地, 在8月初听到SQLFlow项目就决定参与进来,未来他也会号召不要 不要 不要 不要 的人参与到开源建设中。

“开源社区所说的构建大生态,其实大生态还中含着另外一层,不要 不要 不要 不要 大伙互相学习,或者行业内的所有从业人员进行知识交流。不要 不要 不要 不要 当各行各业的同学都在里面贡献所有人 的经验、技能时,大伙其实也能从其他的同学那学习到不要 不要 不要 不要 防止数据,或者防止实际什么的什么的问题的法律妙招。”高梓尧所言恰如其分地诠释了开源社区众人拾柴火焰高的魅力。

Gartner预测“到2020年,AI技术将普遍跳出在几乎每有十个 新的软件产品和服务中。”这其中含蚂蚁金服与滴滴DS团队的一份力。

热门

热门标签