“用一个平台解决多模数据,中国星环科技大数据平台做到了!”
2003年有sars,电子商务公司很流行,一般顾客融入了电子商务公司。
的新型冠状病毒大爆发,让更多公司的房子进入直播,视野被打开,越来越多以前流传下来的产业必须加速数字化。
更广阔的产业网络时代已经到来,数字化转型深入到以前传下来的产业和以前传下来的公司之中。
在这个令人兴奋的数字时代,大数据技术与云计算、5g、ai等新技术融合,落地速度空前加快。
年5月15日,星环科技全面升级了以大数据、云计算、ai为主的三条产品线,基于一代搜索产品transwarp new search、知识图谱全栈处理方案、边缘计算 发布了基于人工智能和复杂互联网的实时反欺诈处理方案等,展示了我国大数据基础软件和平台公司的创新成果,日益增加了我国客户的使用
1 .客户呼叫多型号的数据解决方案平台
星环科技创始人孙元浩介绍说,从2008年开始,大数据平台就是一系列技术或工具的组合。
年创业时,星环科技认为光靠工具组合不能处理大数据问题,需要用产品来挖掘大数据的4个v数据量大、数据种类多、数据实时性高、数据的价值。 为此,斯特林推出了inceptor、hyperbase、slipstream、discover等产品,分别应对大数据面临的4v挑战。
年后,针对一点单一的典型场景,市场上出现了不同的产品,有著名的处理方案,处理数据多样化。 例如,结构化数据采用hive; 动态列模型采用bigtable、hbase; 在文档的解决中采用mogodb; 图数据采用neo4j; 各大搜索引擎elasticsearch,等等。
但是,这些产品是孤立的,每个或类只能处理一种问题,必须使用不同类型的数据库并将其混合在一起,需要复制很多数据,既昂贵又低效。
今天,客户越难以容忍这个框架,就越想使用一系列大数据平台来解决各种各样、复杂的数据结构问题。 具体来说,客户是一个统一的数据平台,解决多种数据模型,提供统一的编程语言、统一的计算引擎,采用统一的存储管理系统、统一的资源调度系统,多种不同的数据
目前,大数据领域一个显著的快速发展趋势是推出能够解决多种数据模型的统一大数据平台。 提供统一的编程语言、统一的计算引擎,采用统一的存储管理系统、统一的资源调度系统,可以支持多种数据模型。
孙元浩表示,我们将这个统一的大数据平台称为多模型异构数据解决方案平台。
2 .一站式大数据平台处理大数据4v
transwarpdatahub(tdh )是斯特林技术推出的公司级大数据平台,经过7年的快速发展,迅速发展成熟,在邮政、交通、金融、政府等领域取得了大量的引进实施经验,新生比特
5月15日,星环科技全面升级了以大数据、云计算、ai为中心的三条产品线,并发布了transwarp data hub7.0。
作为星环科技一站式大数据平台tdh的最新7.0版,一站式多模异构数据解决性能突出,打破了领域内普遍存在的不同数据库产品切换的不便,成为了大数据快速发展的大瓶颈
星环科技研发总监吕程在回答中国软件网记者提问时表示,tdh7.0作为多模型数据解决平台,拥有统一的数据操作/查询语言sql、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源, 认为可以满足利用一个多模式异构平台解决多种数据的诉求。
据介绍,tdh从上到下分为五个等级。
最上层是sql层,开发统一的sql引擎,与各种sql方言兼容
计算层开发统一的计算引擎,优化统一的计算任务和分别发送;
下面的存储模型层是tdh的一个平台支持7种不同的存储模型,适合不同的应用场景图存储graph storage、文档存储document storage、全文检索fff 密钥值存储密钥值存储、矩阵混合存储行列存储器、小时空
存储管理层开发统一的存储管理引擎,提供数据块分布式管理、数据多拷贝一致性管理和文件服务管理等功能
最底层的资源调度层开发了统一的资源调度框架,通过集装箱化组织,统一调度了计算、存储、互联网资源。
星环科技自主研发,采用tdh一站式平台处理方案,处理了大数据应用的四个v的问题。
海量化( volume )使用分布式计算和分布式存储框架,完全利用了计算机集群的整体计算和存储能力,解决了数据的海量化问题。
加速( velocity ) :我们使用实时流媒体解决方案引擎处理了客户对数据解决时间长短的诉求。
多样性( variety ) )要解决的数据类型不限于结构化数据,也可以支持拷贝数据、图数据等非结构化数据。
价值提升( value ) )完全利用数据,用于分解多样化的数据模型,提高数据价值。
3 .统一数据解决方案平台的几大特点
多模型数据解决方案平台的核心是对外提供统一的sql编程接口、统一的计算引擎、统一的统一存储管理系统和统一的销售框架。 因此,星环tdh 7.0的特征体现在这些大特征的统一和融合上。
transwarp data hub 7.0统一的数据解决方案平台支持7种以上不同的数据模型,支持结构化和非结构化数据,包括密钥值媒体存储、全行搜索、索引、索引 这是tdh 7.0的第一大特征。
斯特林技术的第一家公司提供了跨多个数据模型的统一计算引擎。 许多公司试图提供标准的数据接口,但由于它们是基础不同的数据库,因此没有使用统一的计算引擎。 虽然有统一的sql接口,但是将不同的接口静态路由到功能数据库并不容易。 因此,需要动态进行接口调度,进行执行计划统一管理的动态计算引擎。
另外,斯特林技术transwarp data hub 7.0也提出了统一的分布式管理系统,是实现数据分布式管理和数据一致性的数据管理系统,比传统的htvs采用更高效、更一致。
由于一个数据可以存储在同一平台上的多个模型中,所以当应用程序发生更改时,客户可以使用最佳的仓库模型来满足查询的要求,从而提高运营效率。 另外,由于用一个平台解决多个数据模型,运输价格、管理价格会下降。
孙元浩说,未来的数据平台都应该是多模式的,但客户应该采用数据库。
从2007年开始,星环科技逐渐实现了基于开源改造的产品组件向自主研发的转变。
年5月transwarp data hub 7.0问世时,星环科技已经实现了大部分组件的自主研发,包括分解型数据库、流解析引擎、图数据库等。 今年新推出的每个搜索引擎都使用新的无副本算法对外提供标准的sql接口。 预计到2021年,nosql数据库的所有系列改造将完成,并整合到分布式存储管理系统中。
孙元浩表示,到2021年,星环科技全系列产品将自主开发。
免责声明:晨报时代网免费收录各个行业的优秀中文网站,提供网站分类目录检索与关键字搜索等服务,本篇文章是在网络上转载的,本站不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,本站的小编将予以删除。
心灵鸡汤:
上一篇:“跨界联动 合作赋能”