“星环科技多模型数据数据解决平台Transwarp Data Hub 7.0正式发布”

星环科技一站式大数据平台transwarpdatahub(tdh )每年都在进行主版本升级。 5月15日星环科技春季新产品发布会推出的7.0版本，主要进行一站式多模式异构数据解决，打破领域内普遍存在的不同数据库产品切换的不便，在一个平台上解决多个数据模型，客户可以

这几年，星环科技坚持自主研发，逐年推动技术进步。 年星环科技创立时从大数据四个角度对产品进行了定义，处理了大数据四个v的诉求。 数据量大，数据种类多，要求数据实时性，必须从数据中挖掘价值。 tdh是用于处理大数据4个v的一站式平台处理方案，①使用海量化( volume )、分布式计算和分布式存储框架，完全提高计算机集群的整体计算和存储能力 ②使用速度化( velocity )实时流解决方案引擎，处理了顾客对数据解决时间长短的诉求③多样性) variety ) )要解决的数据种类不限于结构化数据，也可以是拷贝数据、图数据等非 ④提高价值( value ) )完全利用数据，用于分解多样化的数据模型，提高数据的价值。

为满足顾客诉求而诞生的tdh7.0

经过7年不懈的努力，产生了在发布会上看到的transwarp data hub 7.0的整体构想。 tdh从最初的多工具组合平台，逐渐发展为多模型数据解决方案平台。 目前，各种大数据技术的应用越来越广泛。 对于单一的典型场景，业界有着名的处理方案。 例如，结构化数据采用hive； 动态列模型采用bigtable、hbase； 在文档的解决中采用mogodb； 图数据采用neo4j； 各大搜索引擎elasticsearch，等等。 但是，在实际应用中，客户的招聘场景越来越多、越来越复杂，解决多模型的诉求越来越广泛。 为了解决多机型的诉求，客户必须使用由多种工具组合而成的混合方法。 但是，这种混合方法的运维太复杂了，必须维护多个数据库以满足不同模型的诉求。 因此，客户迫切需要一个统一的平台来应对日益多样和灵活的各种指控。

tdh7.0作为多模型的数据解决方案平台，提供统一的数据操作/查询语言sql、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架，一个 产品从上到下分为五个层次:①sql层次(开发统一的sql引擎，兼容各种sql方言； ②计算层)开发统一的计算引擎，优化统一的计算任务和分别发送； ③存储模型层、tdh三个平台支持7种不同的存储模型，适合不同的应用场景。 图存储图形存储、文档存储文档存储、全文全文搜索、密钥值存储密钥值存储、矩阵混合存储 ④存储管理层)开发统一的存储管理引擎，提供数据块分布式管理、数据多拷贝一致性管理、文件服务管理等功能。 ⑤资源调度层开发统一的资源调度框架，通过集装箱化组织，统一调度计算、存储、互联网资源。

tdh7.0多模型数据解决方案平台的三个主要特点

特点一:大幅提高了各产品的效率。 如果需要对同一数据分解多个不同的模型，则分解查询、模糊匹配查询、关系推理查询。 tdh可以针对不同的诉求使用多个最佳的存储模型。 分解查询使用矩阵混合存储； 模糊匹配搜索使用全文搜索的关系推理查询使用图数据存储。 各种模式的存储大大优化了每个场景中查询的分解性能。

特点2 :方便的应用开发。 在一直以来流传的混合模型中，为了在不同的模型数据之间进行相关分解，需要进行数据库间的数据导入导出，非常复杂。 我们宣传的产品使用统一的数据管理，可以用简单的sql语句直接进行相关查询。 应用程序开发就像使用同一数据库一样非常方便。

特点三:降低运输价格。 在以前传递的混合模型中，需要根据模型不同而运输不同的数据库。 特别是当同一数据存储在多个数据库中时，数据完整性是一个很大的挑战。 另外，数据整体形象的运输维度需要按照运输维度子系统进行汇总二次开发，运输维度的价格巨大。 我们宣传的产品使用统一的数据管理，在产品的基础服务中直接保障数据的一致性，并整体运输多模型数据，是天然的一体化系统。

斯特林技术的新一代搜索产品transwarp new search上市了

随着新一代新闻技术的飞速发展，围绕数据收集、传输、存储、管理、分解、应用各个环节的大数据技术非常活跃。 另外，数据库的技术也日新月异。 除了以前流传下来的关系数据库之外，还诞生了一些与非关系数据库相关的新技术。 说到分解型非关系数据库，必须提到全文检索这一典型业务。

作为tdh7.0广泛使用的全文检索产品，星环科技经过几年的自主研发，在此次发布会上发布了新一代检索产品transwarp new search。 与一般的开源产品相比，transwarp new search在性能方面具有更明亮的特点，在数据服务上限、数据安全、数据恢复速度、数据读写速度、sql计算性能、扩展功能等方面有很大的迭代和提高。

将数据服务的上限提高10倍:斯特林技术优化了内存的采用，实现了独特的离线技术( off-heap )、冷却技术( cooling )和自适应分段整合算法( self-adaption search )。 因此，单节点单实例数据量上限上升到50tb左右，是开源es方案的5倍，磁盘利用率大幅提高，客户硬件价格下降。 另外，斯特林技术抛弃了开源产品的p2p架构，使用分布式一致性协议( raft )管理集群，将集群规模上限从100个节点左右提高到200个节点以上。

大幅提高数据安全性:斯特林技术抛弃了主从最终一致性模型，使用分布式一致性协议( raft )保证了数据的强一致性。 即使在极端的断电场景下，也能保证数据的一致性，大幅提高数据的安全性。 此外，还提供了垃圾桶功能。 客户意外删除数据后，可以轻松恢复数据。 产品采用更安全，更放心。

数据恢复速度提高10倍:斯特林技术对写入的数据进行精细标记，在恢复单点故障数据时使用增量数据复制方法缩短启动时间，并在几分钟内完成。 开源产品的集群规模在100个节点以上时，单点故障恢复时间将超过1小时。

数据读写速度更快:斯特林技术产品在读写线程资源管理更严格、更精细、确保集群稳定性的同时，最大限度地采用资源，读写性能更好，提供bulkload功能，批量加载。 与开源产品相比，节省了20%的存储资源，并将查询率提高了一倍。

良好的sql计算性能:斯特林技术引入自主开发的分布式计算引擎，与开源es的接口兼容，与sql的生态很好地对接。 除了单查询外，还大幅提高了复杂的聚合分解性能。 语法上，斯特林技术的产品支持标准sql，也支持sql扩展搜索语义和oracle、db2等sql方言，对数据库客户友好，学习、迁移的价格较低。

增强功能:支持一般样式文档(如pdf/word/excel )的存储和检索； 提供中、维、藏、英、法、日、韩、德、西、葡萄等语言分词器，方便客户解决不同语言的副本； 支持复制相似度匹配、关键字提取、摘要提取等自然语言解决功能； 时空支持地理数据的保存和分解； 结合使用斯特林技术安全软件( transwarp guardian )，可以获得包括客户认证、客户授权、安全鉴定、数据传输存储加密等多种功能的高质量安全服务 结合采用斯特林科技管理软件( transwarp manager )，可以在集群安装、运输、监控、管理方面获得高质量的服务。

本文：《“星环科技多模型数据数据解决平台Transwarp Data Hub 7.0正式发布”》