2016年3月,我们正式发布了Yonghong Z-Suite新版本V6.0,在产品层面上初步形成了大数据分析全链。V6.0可以更好地支持自服务数据准备工作,提供了全新的自服务深度分析功能,进 一步提升了大数据分析的性能和稳定性,全新定义了企业级管理的功能界面,极大地增强了易用性。

7月,我们发布了V6.1,在这个版本里我们继续优化提升了产品性能及稳定性,同时增加了一些灵活易用的小功能来更好地为企业用户服务。下面我就为大家介绍一些重要的新功能。

image.png

1.自服务数据准备

自服务数据准备是将来自企业各系统的原始数据,通过简单的加工处理和轻度建模转变为可使用的分析数据。这里我们支持了数据的选择、类型的转换、格式的设定、过滤、多源数据的融合、自循环列转换等功能。

多源数据融合:企 业用户的数据来源是多源的,很多往往来自于各业务系统或各类数据报表中,那么如何将这些数据融合,进行统一的分析是企业用户最为关注的。永洪的多源数据融 合技术是通过抽取多种异构数据库、其它的数据源如Excel、数据仓库等的数据,并对各来源数据进行清洗、转换、建立结构并将数据组合,最终建立数据集, 从而为探索式分析做数据准备。

自循环列转换功能:在 企业用户中部门结构存在层级关系,这些层级关系往往是依靠关系ID来解读的,无法直接作为维度使用。以前我们只能通过IT人员拼写SQL语句对数据进行转 变。在V6.0中我们提供了自循环列转换功能,通过界面简单地设置关系ID及分层列,即可得到部门关系的分层结果,设置过程极为简单易用。


image.png

2.深度分析功能  

什么是深度分析呢?客户面对的往往都是一些未知数据,它们的特征不明显或者我们无法从诸多的维度中判断哪些是有必要关系的,这个时候探索式分析就不能满足客户的需求。此时永洪的深度分析,可以帮助您获得更多的数据洞察力。

我们提供多种主流机器学习算法,并支持基于R语言的扩充。在数据的准备过程中,用户可以通过我们提供的机器学习算法或定制R脚本对数据进行深度分析,利用深度分析结果和描述性分析结果进一步实施可视化展示,即可得到一份可进行交互分析的深度分析报告。

image.png


3.数据集市支持Map Side Join功能

在 分布式系统中,通常是将需要连接的表,先在源端连接好后将结果存成宽表,然后针对宽表进行分析处理。然而,宽表事实上是将数据进行固化,限制了数据变化的 灵活性。但如果进行实时连接运算,又存在运算并行度不高、处理速度慢等问题,永洪MPP的Map Side Join就解决了星形数据模型遇到的上述问题。我们可以通过测试案例来看:事实表有一亿条数据,维度表为一万五千条,通过建立Map Side Join的查询,在表格中绑定5个维度一个度量,计算刷新结果只需10秒,而通过普通查询所建立的表格,同样的绑定刷新数据所需要的时间往往要大于半小 时。从这个案例中,我们可以看到采用Map Side Join处理能力的高效性。


image.png

MPP Map Side Join的原理

由 于当前很多业务系统依然采用关系模型,表连接属于非常普遍的操作。但当数据量达到一定级别,数据表之间的连接操作变得非常难以计算处理。在分布式系统中, 可对不同的数据模型进行有针对性的处理,以达到最佳的处理效果。比如在业务系统中普遍存在的星形数据模型,事实表数据量相当大;而维度表通常较小,并且都 是些码表数据。我们将事实表数据按块分布在各个Data Node上,而将维度表在每个Data Node上保存一份完整拷贝。这样就能够在各个Data Node上进行连接操作,并把各个连接结果进行归并,形成最终计算结果。这就是Map Side Join,采用分布式并行处理连接运算,达到了最优的处理性能。

目前,永洪MPP开始支持分布式连接运算,在V6.1中主要支持了Map Side Join的处理。预计后续版本将全面支持分布式连接运算,以解决大数据场景下,客户对于表实时连接运算的需求。

image.png


4.企业级门户功能

很 多客户在使用永洪产品进行探索式分析时,制作了很多针对不同业务线的分析报告,在以前的版本里这些报告都是相对独立的,客户不能够把一些关注度较高的报告 个性化地展示在同一界面内,并将其作为平台入口展示在分析平台的最前端。在V6.0中,我们提供了企业级门户的新功能,用户可以通过简单的拖拽和个性化的 设置即可得到属于自己的门户首页。

我们可以通过“门户样式”功能,定制门户页 面的结构、布局样式、功能链接项、报告组合展现,以及外部网页的引用等。并且,我们的门户功能不仅面对企业系统用户,为整个系统平台提供统一的门户页面, 而且对于每个用户来说,也可以设置属于自己的个性化个人门户首页,实时关注自己所关关心的分析信息。

image.png

5.丰富的报告主题

我 们的主题功能,可以让用户的报告快速实现艺术大师般的作品展现。如果用户有更多灵感与创意,也可以按照自己的设计来规划分析报告。在V6.0中,我们提供 了多套不同风格的主题,每一套主题都经过细致的设计与打磨,为用户提供最具格调的配色、字体和样式展现,同时我们还提供了有趣的图表交互动画,为用户在查 看报告时增加更多惊喜。通过选择应用这些不同风格的主题,用户可以快速实现最具个性化的分析报告,尽情展示个性情怀。

image.png

6.同比环比功能

同 比环比这个功能是BI软件最基本的需求,为什么我还要拿出来说呢?过去我们基于传统软件做此类复杂计算时,一般需要IT人员根据业务人员的需求,提前在语 义层或者Cube层上将所需数据进行计算,业务人员再根据做好的数据进行分析,如果业务人员需要调整分析策略,还需要通过IT人员进行数据的预处理。现 在,在V6.1中我们可以做的更简单,无需IT人员进行复杂的数据预处理,业务人员通过直接拖拽、绑定明细数据、选择计算方法等设置,即可对数据进行同比 环比计算。此类的高级计算我们还支持很多,比如累计计算、排名计算等等。

image.png

7.分层计算

什 么是分层计算?我们先来看一下用户的使用场景。每天早上九点,可能公司高管、各个业务部门同事、IT人员都要查看报表。能否保障领导、业务部门同事在做数 据分析时可以秒级响应打开,而不出现延时,我相信各位一定有过这样的担心。在永洪V6.1中,我们可以做到:让领导和重要岗位人员的报告先运行出来,让正 在开发的报告的优先级降下来,避免干扰上线的报告,让一些大数据量的离线计算报告的优先级降下来,避免干扰实时计算的报告。这些功能的实现是得益于我们先 进的分层计算技术。

分层计算的原理

通过控制产品处理的线程,将计算线程进行优先级设置。

我 们可按用户来设置优先级,可以在登录的时候,设置全生命周期的用户参数。在生成计算任务的过程中以用户参数为线程计算依据;在仪表盘和定时任务上也可以设 定优先级,根据优先级来执行其先后顺序;在数据计算上也可以设定优先级,根据计算类型,如复合查询、明细查询等,将这些大数据量的离线计算默认比其它运算 优先级低,为实时计算保留较多的系统资源。

当然,使用永洪MPP的数据集市的用户可完全忽略计算性能的顾虑,无论多大数据量,我们均可做到秒级响应。

image.png


8.排名计算(Top Others)

在 业务人员做分析的过程中,经常有这样的需求,比如业务人员想看销售额排名前3的产品,利润贡献度超过80%的产品及其他20%的产品,该怎么办?以前我们 只能帮您看到排名前三的产品概况。现在在V6.1中我们增加了Top Others功能,您可以轻松看其它部分的产品概况。无需拼写SQL,业务人员只需通过简单的界面设置即可得到全部top排名结果。

image.png


9.告警邮件

我 们在跟很多客户交流的时候,发现他们一般都有这样的需求:比如我关心的核心KPI指标出现异常,能不能给我用颜色做一个标注,让我们能够很直观的看到这些 异常。当然,永洪可以帮助您实现这样的需求,并且还能做得更好,在颜色标注的同时,我们还可以做告警。比如当KPI指标出现异常时,可通过目标值触发器功 能设定异常值触发条件,利用发送邮件任务做邮件提醒,帮助您及时发现异常状况。

image.png

以上这些功能,如果还需要有更多的了解,可以登录我们的网站和微信平台来查阅更多的产品信息。关于下一个版本V7.0,我们会继续优化提升产品,请您拭目以待!。

发表于: 2016-08-10 17:45 阅读(179) 评论(0) 收藏 好文推荐

本博客所有内容,若无特殊声明,皆为博主原创作品,未经博主授权,任何人不得复制、转载、摘编等任何方式进行使用和传播。

作者该类其他博文:

发表评论(网友发言只代表个人观点,不代表本网站观点或立场。)

您尚未登录,请先【登录或注册