企业大数据,能像使用一个数据库一样简单吗?

智能进化论 出处:智能进化论 2021-03-30 18:54

企业大数据,能像使用一个数据库一样简单吗?


随着数据总量和数据种类的不断增多,能不能在一个平台解决所有数据问题,成为很多企业的愿望。也这是大数据企业星环科技的初心,经过多年自主研发和技术迭代,星环科技正一步步把愿望成现实。

在大数据赛道,星环科技是自研多模异构大数据平台的代表。其曾被信通院评为大数据产品线最丰富的厂商,也打造了业界第一个基于容器化的大数据平台。


3月24日,星环科技举行线上发布会上,带来全面升级的全系列产品,包括:Transwarp Data Hub (TDH,一站式多模型数据管理平台)、Transwarp Data Cloud(TDC,数据云)、关系型分布式数据库KunDB、ArgoDB 、Transwarp Data Studio大数据开发与治理一站式平台、Transwarp Sophon人工智能平台。


“打造一个超高速引擎,让大数据平台一站式实现多种模型数据的超高速处理。”透过TDH和TDC两款核心产品,可以看出星环科技正离初心越来越近。

灵活搭积木,玩转十大存储模型


关系型、非关系型、结构化、半结构化、非结构化……当数据种类越来越多,对应的数据库类型也越来越多,而每一种只能解决一类数据问题。当多个数据库各自为政,企业的数据管理将日益复杂。


星环科技的多模异构大数据平台TDH就是为此而生。经过8年迭代,TDH已经成为企业一站式数据底座。TDH的架构设计是根据企业大数据痛点而来,也成为星环科技的差异化竞争力。


首先,存储计算完全解耦,哪里不够扩哪里。


传统单一型数据库,每种存储都会适配自己的计算引擎。由于计算存储高度耦合,接口各自为政,很难实现数据沟通与关联。实际上,冷、热等不同类型数据对计算、存储的扩容需求并不同步。


TDH对于存储和计算完全解耦,实现“存储不够扩存储,计算不够扩计算”的资源按需分配。

自7.0版本起,TDH就独创五层架构,自下而上分别是:星环云操作系统、星环分布式数据管理系统、星环多模型异构存储引擎、星环分布式计算引擎、星环SQL编译器。每一层之间也是解耦合,意味着每一层都可以独立扩展。


其次,一把钥匙开一把锁,专用存储引擎处理特定的存储模型。


在IT技术领域,往往“术业有专攻”,才能达到性能与成本的最优解。比如芯片领域正在经历从通用到专用的演变,越来越多的AI训练芯片、AI推理芯片、物联网芯片,正在取代很多传统的通用型芯片。


在大数据这一基础软件领域也是如此。此次发布的TDH8.0比7.0新增三个引擎:键值存储引擎、事件存储引擎、时序存储引擎。最终实现了8种异构存储引擎支持业界主流的10种存储模型。企业可以像搭积木一样,按需灵活组合。

企业大数据,能像使用一个数据库一样简单吗?

第三,统一接口和计算引擎,像使用单个数据库一样简单。


虽然功能越来越强大,但对于客户交互的接口层,星环科技坚持简单易用。TDH提供统一的编程语言SQL、统一的计算引擎、统一的存储管理系统、统一的资源调度系统。也就是说,5层结构中,除了中间存储引擎层是异构多元的,其他四层都是统一的。而且,统一的分布式计算引擎会自动匹配最适合的存储引擎,不需要手工干预。


用星环科技创始人、CEO孙元浩的话说,TDH的这些特点,可以让企业用户“易于开发,易于运维,同时保证性能也是最佳的。”


举个例子,某公司想创建一个企业级的知识图谱,需要将不同部门的数据融合打通。传统模式下难点很多。比如,不同的数据库无法进行数据关联,需要将数据导入导出到统一格式的一个数据库中做关联分析,这就需要占用额外的计算和存储资源。


有了TDH,不同的数据库都架构在统一平台中,不再需要额外的数据导入导出,而且通过统一的SQL接口,简化了不同部门不同项目的对接难度,降低了平台运维的复杂性,打破了不同部门之间的数据壁垒。


更强大的数据云,孕育智能应用的沃土


星环科技数据云 TDC 主要面向企业私有化场景,相当于把星环科技在数据分析方面的能力云服务化,弹性地对外提供。


传统云计算以物理资源为中心,以虚拟化技术为基础,而数据云TDC则以数据为中心,以容器化技术为基础,更能满足企业业务快速灵活扩展的需求。


全新升级的TDC底层基于容器云平台构建,打通了数据 PaaS、分析 PaaS、应用 PaaS 三类PaaS 能力,支持企业更好地进行业务创新。


目前,已经有大量客户运用星环科技的TDC进行数字化转型。日均客运量突破150万人的郑州地铁就是之一。


通过TDC,郑州地铁打造了大数据云平台一期项目。基于容器技术和微服务化创新架构,郑州地铁实现了对计算、网络资源的灵活调配以及数据的共享。郑州地铁还打通了所有数据的统一接口,实现了数据采集、分析和管理的互融互通。


从2013年底运行至今,郑州地铁对全市公共交通的分担率已经达到45%,多年来积累了大量的客流信息数据。基于大数据云平台,郑州地铁可以挖掘数据价值,进行更多大数据、人工智能场景的探索。


比如,借助TDC的能力,郑州地铁打造了一个客流智能预测系统,将企业内部生产数据与外部相关数据进行融合分析,实现数据赋能。同时,创建了视频智能分析系统,用机器学习监测列车运行当中打火花的现象,提升了安全运行效率,并降低了人力成本。


孙元浩介绍,“星环科技创立时有两个使命,第一是希望星环的智能数据引擎像光速一样快,所以公司取名Transwarp,warp是曲速的意思,是所有科幻作品中最快的一种速度。第二是希望打造一个数据平台,实现数据全生命周期的管理,使企业不需要离开星环的平台,就能够处理各种类型的数据、各个阶段的数据。”


用一套简洁清晰的技术架构,支持纷繁复杂、千变万化的用户场景,星环科技正在离这一目标越来越近。


本文为「智能进化论」原创作品。智能进化论专注云计算和数字化转型领域的科技评论。

周阅读排行榜 TOP

查看更多