“九章云极DataCanvas方磊：数据科学赋能组织实现未来智能”

一年一度的idc dx summit数字转换大会聚焦数字竞技，转战新常态，邀请各行业头部公司创始人和高管发表新见解。 章云极datacanvas会长方磊博士站在领域最前沿的视角，在会上发表了精彩的演讲:数据科学赋能组织实现未来的智能。

演讲实录:

你好。 我是九章云极datacanvas会长方磊，很高兴来到idc dx summit和大家分享今天的话题。 数据科学力量赋予组织实现未来的智能。 今天我的话题主要分为四个部分，第一部分是未来智能化组织是什么样的，第二部分是关于数据科学平台自身的快速发展，第三部分是数据科学平台如何提高业务性能，以及最后一部分ai重点处理的三个要素

一、未来智能化组织是什么样的

未来的智能组织会怎么样？ 我们看到了三个有特色的趋势。

第一个趋势是it+dt+业务的融合。 在过去的40年中，以it为代表的整个流程自动化在许多组织，特别是大型组织中已经拥有了很高的渗透率。 近10年来以dt即数字技术为代表的发展，在许多大公司也有了良好的开端。 最近，我们看到，智能组织未来十年、20年的快速发展趋势是，it、dt和业务边界相对模糊。 it部门也需要对业务指标负责，业务部门也需要直接采用和支持it、dt的技术。

第二个趋势是创新方法的变化。 以往的创新方法大多是自上而下的，也有一部分是以高层领导为中心的战斗型方法推进的。 但是，目前我们看到的一个趋势是，很多创新的方法不是top down而是bottom up的方法，它们自发地出现在很多业务点上，通过小步快跑的方法，在一点业务点上采用新的技术、新理念来实现业务的成长 这样的星星之火，燎原的创新方法成为智能化组织的显着特征，这样的方法也更加灵活敏捷。

第三个趋势是基础设施的变化，主要来自两个方面。 一个是技术本身的进展，从10年前开始，整个云从公共云到混合云，迅速发展到今天的集装箱化( cloud native云原生)，而且大数据基础设施技术是早期的haad。

另一方面，基础设施在技术进展的主线下，另一个推动力来自上述两种趋势( it、dt和业务融合与创新方法的一些变化)，这两种趋势使得基础设施更加敏捷，更加便捷，支撑所有创新的尝试与融合。 以前不太可能想象为创新而直接更改it数据中心的某些服务，但今天随着整个基础架构的升级，云本机技术、微服务技术和大量智能建模技术使得这一点成为可能

无论技术进展、工艺升级、创新方法的几个变化，人都是最重要的核心生产要素。 所以，当组织成为智能组织时，人还是需要升级的生产要素最重要。

那么，对于智能组织来说，对未来的员工、未来的核心资产有什么样的期待和随之而来的诉求呢？ 一些是所谓的复合型技能。 在当今创新智能的组织中，对人的要求可能是多方面的。 刚才提到的it、dt和业务的融合，其实也体现了这一点。 不仅仅是数据，也可能需要了解业务，还需要懂一点编程。 拥有这样的复合技能，就能在创新不断的环境中成为智能化组织的一部分。

二是工具的运用。 当对一个身体要求这么高的时候，我们知道单一技能相对简单。 如果你需要开车的话，可以学习驾驶，但需要开车，开飞机，画画。 通常人有点指望不上。 那么，在这种复合技能的诉求下，专业工具空之间应运而生。 每个职业的技能其实都代表着一系列的做法论和具体的操作要求，专业的工具本质上沉淀着做法论，并且可以更有效地发挥你的技能。 所以，越是需要复合技能人才的智能型组织，对专业工具的依赖也越大。

三是合作将成为普遍诉求。 collaboration，我们称之为核心诉求，是fundamental的。 我们知道，从以slack为代表的协同办公软件开始到今天，各行各业都将协同工作作为基础诉求。 这是因为我们既然有复合型的技能，我们就必须有各种广泛的创新。 而且，既然每个人都采用了自己的专业工具，他们如何合力形成，就成为了一个非常困难的问题。 因此，提供专业工具的协同功能，乃至跨行业在各个领域的协同功能，其实是非常核心的诉求。 这就是我们看到的智能组织中的人成为最重要的生产要素之后，有这三方面的诉求。

二、数据科学平台的快速发展

第二部分，我想谈谈数据科学平台自身的快速发展。 数据科学被誉为历年来最性感的语言，自年第一所大学设立数据科学学科、年200多所大学设立数据科学学科以来，数据科学实际上已经比较完善了从实验室到生产化的过程，数据科学在公司的应用也很fook。

早期的时候，数据科学家可能还是很高的头衔，但现在门槛正在下降。 许多孩子通过参加python课，每个年龄段的学生都通过在学校学习，掌握了数据科学的技能。包括已经在职场的社会人士在内，他们都接受了一些新的训练，掌握了与数据科学相应的技能。 有些观点认为，不仅是你的智商、你的情商，将来还有你对数据的敏感度、对数据科学的一点技能的掌握情况。

数据科学在公司里最初还是从数据科学工作者的方法渗透进来的。 当公司面临想要挽回失去的客户、向现有客户推荐越来越多的金融产品等业务挑战时，他们将面临一项叫做ai建模的业务。 从事ai建模工作时，需要准备大量的ai数据。 这些工作基本上是在数据科学家、数据工程师或算法人员的工作范围内进行的，他们将采用专门的工具来完成这个过程。 这个专业的工具类别被称为数据科学家的工作台。 简单地说，这是在比较实验室开发的环境中进行的。

初期的小创新往往围绕事业台的方法进行，而智能化的组织不仅仅局限于创新的尝试和实验室的小创新，要想全面完整地采用创新能力，必须完成生产系统的智能化改造。 例如，如果你的营销清单进入生产系统，能够被实时调用到应用程序，那么你的顾客就能够得到实时个性化的推荐，例如，在交易系统内 系统可以实时调用模型，评估该交易是否为被盗、是否为非法资金、是否为拦截行为。 从今天ai模型的进展可以看出，数据科学家的工作从实验室的一点创新变成了普遍的生产化系统，这几个有着重要的意义。

我们有一个简单的总结。 在过去的40年里，软件核心系统完成了过程的自动化。 在接下来的20多年里，软件系统将决定自动化。 决定自动化的是数据科学在公司的应用，也就是从实验室到生产系统的应用。

那么，在全面落实数据科学到生产系统改善业务方面，必然会遇到一点挑战。 其中一个非常突出的挑战不是技术挑战，而是业务挑战，被称为知识融合。

我们知道所有领域，所有的生产环境，所有的业务环境都有知识。 知识的存在其实是对业务经验的总结，也是过去实践中人的经验的总结。 举个简单的例子，大家都知道，比如某笔交易在夜间发生，或者不上班的时间发生高频转账交易，就是一个小异常信号。 这其实牵涉到一个知识。 这个知识很明显，大部分人都忽视了。 可以想象，只有算法大脑的外星人，看到我们的交易时间，他只知道那是时间。 这在宇宙中很普遍，但他不知道的是在地球上要休息，我们要睡觉。 所以，这种非常浅显的常识，在算法上是无法识别的。

世界上有很多这样的知识、常识。 例如，地球有重力。 例如，我们需要休息。 例如，在许多金融交易中，跨境结算需要时间。 这样大量的知识在使用机器学习等人工智能算法处理业务问题时，需要将这些知识融合在一起。 这就是知识融合。

我刚才提到了数据科学平台自动化的技术，其实自动化技术的核心是如何大幅降低人对知识和技术的依赖。 虽然在人在智能组织的核心作用部分我提到了非常重要的事情，但复合型人才需要依赖工具，依赖工具实际上降低了他对知识、训练和重复工作的依赖。 我们的datacanvas数据科学平台产品可以通过自行开发的四库特征仓库、运算符仓库、场景仓库、automl仓库，在各维度上降低数据科学团队对特定知识和技术的依赖度。

例如，对于数据科学团队的成员，可能需要理解技术、数据、业务、机器学习和编码。 所有这些知识都非常多、复杂和专业。 那么，对于团队中的不同角色，数据科学家、平民数据科学家、数据观察者、数据工程师以及算法传输( machine learning ops )工作人员对不同维度的知识有不同的诉求， 其合作特点也好，自动化特点也好，都可以大大降低团队对特定知识的依赖，提高效率。

三、数据科学平台如何提高业务效能

我们可以看到我们团队的成员凭借先进的自动化技术，在经过数据科学团队的四个阶段(上图)后，达到大规模落地时，它会产生什么样的效果。

数据科学是指以数据为中心，利用ai算法进行场景落地的科学，在这个过程中，通过团队内和团队间的合作，特别是数据团队和业务团队的合作，建立了人与人的关系。 通过数据模型构建和算法，建立了数据和模型的关系最后通过开放的接口，将ai能力最终融合到业务系统中，建立了模型和软件的关系。 总结起来，协作的特点是建立了人与人的关系，训练能力和算法建立了数据与模型的关系，开放性接口建立了模型与软件的关系。 因此，数据科学平台在未来整个it和dt的大地图上，处于非常核心的位置。 通过开放、协作等特点，使数据、模型、软件建立有机组合。

四、智能化组织重点处理的三大要素

从未来的方向来看，数据科学重点处理的ai问题有三个重要因素:数据、计算能力和算法。

关于数据，我们知道一个组织积累了大量的数据，数据实际上是公司的生命线。 在算法方面，高级算法可以执行以前在数据上不可能完成的各种任务，从而推动业务的发展。 第三个要素是计算力，表示当今先进算法下所需的大量计算消耗。 它来自硬件的供应，很多来自cpu、gpu、fpga和各种专业的asic芯片。 我们可以理解为，在有了新的计算pattern之后，全世界的硬件生产都消耗在软件上，所以硬件提供计算能力，但这些计算能力必须适应这些软件的工作。 我们相信数据科学团队将来会消耗世界上大部分的计算力，所以它相信未来企业将处于智能组织变革的中心地位。

在数据方面可以看到未来的趋势。 我们被称为安全计算或联邦学习的特点。 简单来说，数据就是可以和很多人合作一点。

今天，国家对数据的隐私保护非常严格，所以不能非法买卖数据，但现实中我们也知道数据的价值在于流通，在于链接。 那么，怎么处理这个问题呢？ 数据不能互相看。 可以不看对方的数据，利用算法和稍微先进一点的技术的结合来制作模型吗？ 通过这些合作建立的模式对数据端和诉求端都可以产生价值。 举一个非常适合多方数据联合建模的例子，银行放贷小公司时，小公司对于业务上、进出口上甚至法律上的风险，是否有一点数据输入，就是风险模型的精度，以及整个放贷过程中的风险控制。 但是，从隐私的观点出发，也不能简单地复制和汇总数据，出现了将多个数据合并并模型化的诉求。

那么，通过联邦学习和多安全计算的特点，无论是采用准同态加密的算法还是mpc的算法，我们都无法安全、无遗漏地联合多个数据建立模型，用以前的一个数据无法实现

那么关于算法的进化，他评价说大趋势是基于自动机器学习的持续推进。 上图显示了datacanvas自动机器学习的进展状态。 非常像自动驾驶。 让我们把这个分成五档。 第0档没有自动化，到了年中自动机器学习刚刚开始的一年，datacanvas开始大量使用我们称为level one的机器人学习技术； 2019年我们采用的自动结构化深度学习工具deeptables在结构化数据中广泛采用了深度学习技术，取得了非常好的效果。 到了今年，datacanvas的产品全面转移到了基于深度神经互联网自我搜索的自动学习技术上。 这样的技术在结构化数据和非结构化数据中都具有非常好的性能。

那么，像自动机械学习和自动深度学习这样的自动驾驶分类图，在数据科学团队中可以清晰地看到自动化是如何一步步发展的，最终虽然门槛非常低，但精度却很高

最后，让我们来看看计算力。 计算能力的实现，实际上是如何有效地调度所有计算硬件。 我们知道，在计算硬件中出现了cpu、gpu、fpga和各种加速硬件。 这些硬件是异构的，对硬件异构的管理是一个非常大的挑战。 新数据中心不仅有cpu和gpu，还有许多新硬件。 如何有效地管理这些硬件也是智能组织的一个非常核心的课题。

另外，还看到了计算力硬件的虚拟化。 在云的时代，一个硬件不是独占的，有可能被我们多芯片卡的加速训练和推理的硬件加速等各种业务负荷复用，因此提高计算能力的利用率也是数据科学平台为数据科学团队提供的一大bee 这样，数据科学家就可以将越来越多的观察力集中到模型的构建上，而无需在意计算能力利用率的提高。

总而言之，我认为未来各企业将成为软件企业。 他还认为，各部门将成为数据科学的部门。 这意味着it、dt和业务的融合，也意味着复合型人才的诉求。 这样大的机会是ai渗透到所有业务中所带来的必然结果，datacanvas makes it happen也相信。

本文：《“九章云极DataCanvas方磊：数据科学赋能组织实现未来智能”》