山珍菌菇种植基地

你的位置:山珍菌菇种植基地 > 新闻 >

案例 | ArgoDB助力某医药集团打造高效数据中心

  选录:Transwarp ArgoDB 是星环科技自主研发的散播式分析型数据库,旨在替代 Hadoop+MPP 搀杂架构。其推出的读写分离功能权臣的提高了某集团客户系统的性能,同期也最猛流程的优化了资源使用,保险了数据反应率、一致性等特质。本篇著作将为读者先容此功能的操作步履,但愿对读者在进行数据库选型时有所匡助。

弁言

  濒临企业更加复杂的数据处理需求,ArgoDB 推出了读写分离功能,不仅可终了不同的业务物理掩盖所需打算/存储资源,同期幸免了屡次的数据流转带来的时分和存储资本。

布景先容

  在传统部署中,ArgoDB 的 TDDMS 组件常常承担着为大数据处理平台提供长入的数据存储办事,跟着企业数据量的激增和业务类型的种种化,单一集群常常需要同期处理普通的批量数据处理任务和即时查询业务,可能激发打算和存储资源的霸占,进而影响了业务的实施效果。

  TDDMS 是星环自主研发的散播式数据看管系统,具少见据多副本一致性保险、自动数据重散播、数据高可用等特质。更多联系TDDMS的先容可参考:星环散播式存储TDDMS大揭秘系列著作

  https://community.transwarp.cn/article/942

  濒临此类问题时,常常会尝试通裂缝峰实施和资源诊疗技巧,来科罚资源的竞争和查询效果的优化。天然这些计谋在某些情况下有用,但它们也存在一些局限性,这些局限性可能会影响系统的合座性能和效果:

类别

局限性

错峰实施

时分终局:错峰实施条目批处理功课在系统负载较低的时段实施,常常为夜间或周末,影响数据的时效性。生动性不及:错峰实施不恰当那些需要即时数据处理或分析的业务场景,因为它无法提供及时或近及时的数据处理才气。

资源诊疗

优先级看管复杂:资源诊疗需要良好的优先级见识,当系统中运转多种不同的功课时,开荒合适的优先级变得至极复杂。反适时分概略情:由于资源是动态分派的,且资源不是弥漫掩盖的,关于查询业务,其反适时分可能因其他功课(如批处理)的影响而变得不能权衡。

读写分离才气先容

  为了克服上述局限性,ArgoDB 的读写分离功能提供了一种全新的科罚决策,您不错在长入的存储基础上区分出多个逻辑上独处的集群,专注于各自的业务,终了有储和打算资源的掩盖。举例,咱们不错单独为查询业务区分出只读集群中,该集群中仅存储表的副本数据,同期按需分派打算资源,从而保证普通的批处理业务和查询业务约略高效、无侵犯地运转。

数据一致性与高可用性

  基于Raft一致性左券,读写分离才气提供了高度一致和可靠的数据同步机制,确保业务纠合性和数据完好性,同期为集群延长提供了无缝因循。

Raft左券算法确认与详解:

  https://community.transwarp.cn/article/956

全面资源掩盖

  通过逻辑主备集群的区分,终显然打算和存储资源的弥漫掩盖,使得批处理和查询业务约略在最允洽的环境下运转,提高了系统的合座效果。

业务掩盖与性能优化

  可分别为批处理和查询业务分派了特地的逻辑集群,基于业务需求优化实施引擎和参数设定,终显然业务逻辑的掩盖和性能的最大化。

减少数据流转资本

  只读集群行为 Follower 只同步必要的数据变更,大幅减少了数据流转所需的时分和存储资本,提高了数据时效性。

读写分离才气演示

  本案例中,某企业为了恰当业务需求的增长并优化系统性能,需要将现行的 4 节点集群延长至 8 节点。同期,需要在此基础上进一步细化资源分派,以便更好地恰当种种业务的具体需求:

已有节点:络续因循全天候的批处理业务,将配备适中的打算和内存资源,确保褂讪运转而无需过量的资源参预。

新增节点:主要办事于高并发查询业务,这些节点将搭载高性能处理器和更多容量的内存,并将其与实施批处理任务的节点进行资源掩盖,幸免查询操作不会受到万古分运转的批处理功课的资源争夺影响。

  通过这种树立,咱们保险了业务的纠合性和查询的反应性,同期终显然资本效益的均衡。批处理节点和查询节点约略在为它们量身定制的环境中高效实施,确保了悉数集群的性能最优化。 

海量资讯、精确解读,尽在新浪财经APP


  • 下一篇:没有了