OpenPie 拓数派

应“云”而生的云数据库,让数据从“江河”到“大海”

随着信息技术的发展,互联网应用的加速普及,人类进入了数字经济时代。进入二十一世纪以后,随着移动互联网技术、物联网技术、5G等技术的发展,全球数据圈(Global Datasphere)呈指数级递增, IDC预测全球数据将于2025年增长至175ZB,而中国的数据圈有望于2025年爆炸式增长为世界第一。数据被称为数字经济时代的“石油”,如同石油驱动了工业化时代的进步,大数据将推动智能化与数字化时代的发展。



为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面对数据计算(Data Computing)的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。


数据库的未来在云上

早在2019年,Gartner便做出预测:数据库市场的未来在云上。在2022年首次发布的《数据库中国市场指南》(Market Guide for DBMS,China)中,Gartner再次指出,中国数据库行业将加速增长并逐步向云端迁移,未来四年,中国数据库行业向公有云迁移的速度将超过全球平均水平。2020 年数据显示,云数据库已占据整体数据库市场份额的40%,2022年云数据库营收数据将占据数据库整体市场的半数以上。


OpenPie认为计算技术目前经历了三代平台: ①大型机时代;②PC机时代; ③云计算时代。每一代计算平台的变更,都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型机时代变革为PC机时代,PC机逐渐取代大型机,极大地降低计算门槛,计算资源日渐丰富,数据计算技术突破性创新。随着云计算时代的到来,不仅使得计算成本极大地降低,也提供了无限丰富的计算资源,释放出数据计算产生智能的更多机会。

自20世纪50年代中期以来,数据管理技术经历了人工管理阶段、文件系统管理阶段,最终随着硬件技术的提升、价格的下降,数据管理技术进入了数据库系统阶段。数据库系统解决了数据管理的复杂性,很好的支撑了业务系统(如CRM、ERP、BI、报表和可视化系统)和专用的业务系统(如电商的推荐系统、银行的客户画像)等;解放了开发人员,使他们能够更好的专注于业务逻辑上。

很多受欢迎的数据库系统均为分布式数据库,而典型的传统分布式数据库系统大多是MPP(大规模并行计算)架构。MPP架构的数据库以PC服务器为单位,通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录,MPP数据库会尝试在每台PC服务器的硬盘上分布1亿条记录。数据计算时,所有机器同时并行计算,理论上最高可以把计算时间降低到单机部署的1/n(n为机器数量),节省了海量数据的处理时间。


然而,随着数据量的不断攀升,企业对数据库的要求也越来越高,在使用过程中,传统数据库解决方案迎来了一系列的瓶颈:

1.    复杂低效:随着业务的发展,各个应用系统产生的数据指数级增长,数据来源不断增多,数据类型趋向多样化,应用场景愈加复杂。传统数据库需要将数据进行集中存储和处理,权限管理复杂,出现问题时,分析原因也较复杂;

 

2.    成本高昂:传统数据库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。随着存储和工作负载需求的日益增长,面临数据库的扩容和升级时,由于传统数据库架构存储和计算的紧密耦合,往往需要企业花费巨大的运维和时间成本,且操作繁琐;

 

3.    阻碍创新:面对多样化的业务支持和创新需求,传统数据库的业务模式无法满足企业对灵活扩缩容等场景的灵活变更,难以拥抱新时代“互联网+”、“工业4.0”的发展方向;

 

4.    学习成本高:传统数据库需要众多运维人力,且对运维、开发人员要求高,需要相关人员掌握复杂的技术栈,技术的更新迭代迅速,需相关人员保持积极的知识更新。相关人才市场较小,人才匮乏。高昂的学习成本造成用户使用过程中性能差、故障率高、故障修复时间长等问题;


云原生数据库应“ 云”而生

随着数据量和计算能力的爆发式增长,云计算技术的迅猛发展,云原生时代应运而生。云原生时代,越来越多的企业将应用向云上迁移,而越来越多的数据也流向云上。公有云带来了众多优势:

·      随时可以申请/释放的计算资源

·      无限的计算资源

·      无限的存储池

·      低价的对象存储

这些优势使云原生数据库得以降低计算成本,提供无限丰富的计算资源,实现分钟级的伸缩性和真正的高可用,释放出数据计算产生更多智能的机会。

以下是云原生时代数字企业的典型使用场景:

·      每天有数个小的计算任务,需要数个节点

·      每周有一个中等计算任务,需要数十个节点

·      每月有一个大的计算任务,需要数千个节点

面对这些不断变化的业务需求和计算任务,企业产生了更高的需求:

·      无限空间:能够提供无限存储空间,

·      灵活伸缩:随时根据业务需求弹性增加集群和工作节点

·      资源回收:在集群完成计算任务时,可以进行资源回收,节省成本

充分结合云计算、大规模并行处理技术的云原生数据库应运而生,云原生数据库帮助企业摆脱了PC架构的限制,满足云原生数字时代需求,成为更好的选择。相对于传统数据仓库,云原生数据库的优势也是显而易见的。

·      弹性灵活

传统数据仓库的计算和存储是紧密耦合的,计算资源和存储资源按某一比例强绑定,为了确保查询结果的正确性,每个计算节点都需参与每条查询的执行中,在扩容、运维、迁移上都存在一定的挑战。企业业务发展的不确定性,导致大数据系统无法及时分析业务数据,错失了充分挖掘数据价值所带来的商业机会。

云原生数据库计算和存储分离,避免了资源的浪费。企业可根据对资源的需求,灵活的以低成本和高效的方式,单独地进行存储或计算资源的弹性扩展,提高了资源的利用率,节省空间成本和能耗开销。

 

·      即开即用

传统数据仓库往往需要巨大的人力投入进行数据库的安装和调试,云原生数据库的“即开即用[HW1] ”特性为企业节省了大量运维开支。由于计算节点部署于云端,摆脱了物理限制和潜在的延迟,可随时随地通过互联网轻松管理,无需任何硬件。数据随时随地可用,无需处理任何后端技术问题,为企业进行跨部门、跨区域的数据共享和协作开辟了捷径,保证了企业的全球化进程。

 

·      安全稳定

传统数据仓库将文件和资源存储在同一主机中,以主备节点数据方式补偿节点宕机时间,严重影响数据时效性,增加了运维的成本和难度。云原生数据库[HW2] 具有用户无感知的”真正”的高可用性能,具备故障自动单点切换,自动化容灾与高可用能力,避免了单点失败对业务的影响,保证了数据的安全。当业务有升级或更换服务需求时,可对节点进行不中断服务的逐渐升级。

 

·      敏捷可靠

传统数据库的黑箱状态,导致企业无法及时处理扩容、节点故障等问题。而云原生数据库部署在云上,具备了云计算带来了敏捷与高效特性,兼具高弹性和高性能,可以轻松应对PB级海量数据,服务之间互相独立,从而对应用或服务提供了更多层的安全保护,也实现了更多的容错服务。其高度自动化的运维工具支持业务应用更加频繁的更新,赋予企业更强大的敏捷迭代能力。得益于云原生数据库的存算分离,企业可灵活进行扩缩容,从而也具备了强大的可迁移性。

 

·      降本增效

传统数据库价格高昂的软硬件导致巨大的前期投入。云计算为云原生数据库提供了近乎无限的低成本存储空间,降低了传统数据库机房规划、服务器采购等投入成本,消除了企业的管理负担。得益于云原生数据库按需付费的订阅模式和动态扩展能力,企业可根据自己对资源的需求进行扩展,避免了资源的浪费,相比于传统数据库,具有更高的性价比。


PieCloudDB,基于云原生的eMPP(Elastic MPP)数据库


OpenPie 以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命,秉承 ”Big Data Promises finally Come True”「最终实现大数据愿景」的产品理念,推出的云原生数据库 PieCoudDB。 PieCloudDB 在重新打造PostgreSQL 12.X实现存算分离的同时,也创造了全新 eMPP(elastic Massive Parallel Processing,弹性大规模并行计算) 分布式技术,构建以云原生、分析型分布式数据库为内核的全新数据计算平台,旨在为企业提供包含实时处理、弹性扩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎,助力企业实现数据价值最大化,打造高质量发展新优势,并在新基建中承担可靠和可控的云数据库底座。

基于云计算架构的 PieCloudDB 的 eMPP(Elastic MPP)弹性并行计算,完美解决了基于PC的传统数据库的缺陷,且具备了云原生数据库的上述所有优势。PieCloudDB 云原生数据库计算和存储分离,存储和计算作为两个独立变量,可以在云端进行独立的弹性伸缩,避免了资源的浪费。企业可根据业务对资源的需求,灵活的以低成本和高效的方式,单独地进行存储或计算资源的弹性扩展,提高了资源的利用率,节省空间成本和能耗开销。

更让人兴奋的是,PieCloudDB 允许用户运用云中数据同时开启多个集群进行数据计算。假设航空公司的订票系统已经开启一个3节点的集群对数据进行分析,他们的会员系统可以再开启4个节点的集群对数据进行计算,依次类推,用户可以随时随地地开启任何数量节点的集群进行新应用的数据计算。在 PieCloudDB 中,用户可以持续将所有数据在云中存储,真正为已有的应用和未来的应用实现数据共享,从而帮助用户真正实现大数据梦想「Big Data Promises finally Come True」。

云原生数据库PieCloudDB于10月24日正式发布,更多产品功能将届时揭晓。欢迎持续关注我们的活动