全国服务热线: +86 13177555535
最新公告:
seo培训学习,企业站seo实战培训,培训seo教学课程——实战为主,理论为辅,诚信不变,力保双赢...
SEO培训service
SEO联系Contact us
地址:
中国重庆市九龙区
邮箱:
996934@qq.com
电话:
+86 13177555535
传真:
+86-13177555535
培训教学seo   当前位置:首页 > SEO资讯 > 培训教学seo
优化的Hadoop发行版使混合架构成为过去发布时间:2018-12-06

  这使得在企业的数据中心里,为了应对不同量级的数据、不同性能的计算要求、不同计算模式的需要,不得不采用混合架构,即:关系型数据库 内存数据库 MPP数据库 Hadoop平台。 1. 大量数据需要频繁地从一个平台迁移至另外一个、甚至是另外几个平台,网络开销巨大。面对以上众多问题,seo培训学习对Hadoop有经验的客户进行了大胆思考,并逐步实施了一个创新的架构:让Hadoop统一数据分析平台的混合架构。这样的想法仅在一年前还被认为是不切实际的。当时普遍认同的是,Hadoop在处理上百TB或是PB级别数据时具有优势,但是让MapReduce在Hadoop之上去处理GB或是几TB数据,则显得过于笨重。星环信息科技(上海)有限公司(以下简称星环科技)通过在大数据领域敏锐的判断力、极强的执行力与研发能力,在Hadoop/MapReduce之外独辟蹊径,通过引入Spark,完满解决了Hadoop原有缺陷。 星环科技发布的一站式大数据综合平台 Transwarp Data Hub(以下简称TDH),不仅提供对海量数据超强的分析能力,在中小数据量的分析中,性能也优于MPP架构,甚至可比拟专业的内存数据库平台。TDH因此使企业能统一混合架构,形成完整的数据分析平台。 TDH产品系列中的内存分析引擎Inceptor将Spark作为核心的计算引擎,弥补了采用MapReduce计算引擎的缺点。Spark内存计算技术通过把任务描绘成DAG、把分布式数据抽象成弹性分布式数据集(RDD)、中间结果存于内存、企业站seo实战培训减少Shuffle过程的磁盘IO等关键技术,性能大幅领先于MapReduce 。星环科技经过多个成功案例的积累与丰富实践经验的总结,已经将Inceptor打造成成熟、稳定、高性能的分析平台,解决了开源Spark不稳定,例如:运行24小时自动死掉、运行SQL时快时慢、有时比MapReduce还慢、大内存计算时经常没有响应等问题。 Inceptor针对数据仓库复杂分析的特点,对Spark进行了较多的技术改进、创新与性能优化。单独开发了列式混合存储层Holodesk,使得数据能够在内存与SSD中混合装载,满足更大的内存计算缓存需求,极大地扩展了对TB级别数据进行分析时内存的限制。Inceptor在内存计算上做了较多的性能优化,培训seo教学课程例如:完成了基于代价的优化器,能够更精准地自动选择最优的执行计划;在多表之间通过键值进行关联时,通过数据分区、分桶、查询过滤、条件下放等方式减小数据扫描IO,极大提高查询速度等等。Inceptor在对多张10亿条记录的大表进行关联查询时,相比MPP数据库,性能提升2 10倍。 Inceptor另一个使其能够进入数据仓库领域,统一企业数据分析平台,提供对ANSI SQL1999标准的完整支持。Inceptor支持常用的数据类型、各种表连接查询、各种子查询、操作符、窗口聚合函数、甚至单条数据的DML操作等等。通过SQL实现的,运行在现有内存数据库、MPP数据库等平台统计分析、经营分析等综合性企业报表,几乎无需任何修改,便可以平滑迁移至TDH平台。TDH在某运营商的经分系统中,成功运行300多张报表,几乎没有做任何修改。TDH在某电网公司成功运行21万行SQL代码,而仅仅做了十几处的代码修改。在其他的一些案例中,对于在Teradata等MPP数据库平台运行的SQL也直接迁移至TDH平台运行,性能有很大提升。 Inceptor解决了一直以来MapReduce被诟病的在处理复杂数据分析、即席查询、自助式分析、迭代式数据分析与机器学习时,无法提供快速的响应时间的问题,使得大量一线业务人员可以通过大数据可视化工具灵活地进行交互式数据分析与探索。Inceptor中整合了R语言的统计分析、数据挖掘与机器学习算法,数据分析人员可以快速地通过并行化的R语言算法对TDH平台的TB、甚至PB级别的数据进行快速的数据分析。如此强大的数据分析能力,已经远远超过了现有MPP平台的相关实现手段。向竞争对手学习外链建设