TDM技术实现

 (一)   试验数据粉碎 

前面说过,TDM如果只是解决试验业务问题,附加值很低——因为比较容易实现——补充说一下,现在TDM,包括国内外产品,都没有试验数据的定义和信息维护,所以严格意义讲,都比较勉强的叫TDM,因为既然叫试验数据管理,却对试验数据没有信息维护和数据本身的管理,还是很难让人确信斯为TD

当然,自豪一下,我们现在要做真正的TDM

但是,除了业务上的难度,技术实现也是一个很大问题,TDM能不能成为一个标准产品,取决于我们技术能不能对数据进行很好的处理。

试验数据的几个技术挑战,一是海量、二是格式多、三是非结构化、四是多维性,等等。

怎么把这些技术挑战一揽子解决掉,以前我以为比较简单,这二天学习了一下大数据技术,发现并非如此。之前我个人估摸,大不了借用点大数据技术,加上传统的数据技术,解决这些挑战应该绰绰有余;在数据面前,我发现我错了。

一个消息说,现在的数据库技术无法处理TB级别的数据。但是,试验数据,达到TB,对于一些试验场所,那是年年钟的事儿。所以,传统数据技术还是不用为好。

于是我就想,那就全用大数据技术就好了,从数据采集、清洗、存储、利用,我也是把试验数据先分后合。刚好与大数据技术的思路不谋而合。一方面正暗喜自己思维的正统性和标准性(与炙热的却未曾研究的大数据技术几乎一样),另一方面懊恼自己不爱学习没有直接站在巨人肩膀上去爬到巨人头上。

可是,真爬到巨人头上一看,发现不是这边风景独好,而是后面还是一个坑,巨人后面的坑肯定都是巨坑。大数据技术的先分后合的分,是对既成的数据进行分,可是,试验数据还没有进化到这个程度,如果说大数据的数据是半成品或成品的话,那么试验数据就是原材料,再通俗一点,如果大数据的数据是油品,那么试验数据的数据就是原油。怎么把把原油变成油品?还必须有炼油工艺。而这必须要对试验数据进行千锤百炼。

TDM得先把试验数据粉碎,然后才能先分后合:碎、分、合,这是TDM数据相对于大数据的特征。从这个角度说,TDM不仅是大数据,而是超过了大数据的范围。

所以,TDM的核心技术,还有数据的粉碎技术。

试验数据来源复杂,特别是试验设备或专业分析软件产生的试验数据,随机而且个性十足。一些试验场,试验室众多,试验设备或软件更众多,试验数据更更众多,如果要有机纳入TDM,就得有统一的标准,标准的基本数据单元——就是统一的数据颗粒度。要达到这个颗粒度,就得对所有试验数据进行粉碎,以达到标准,满足后续的数据深加工需求。粉碎的程度取决于不同数据颗粒度的定义。

数据粉碎技术,首先是数据颗粒度定义,不同数据、不同试验室、不同应用客户都会不一样。这个主要还是业务管理范畴,但最终体现到了技术实现。如果试验简单、试验设备少、试验数据简单,那么数据颗粒度就容易标定,也容易粉碎——有可能就不用粉碎。如果试验复杂、试验数据从试验设备或专业软件出来时就是大包小包、包包都是沉甸甸的线、图、动画、视频等数据,那就比较复杂,必须先从业务角度定义数据颗粒度——业务叫试验数据基本单元。

然后,就是试验数据的收集。现在就有二种方法:

一是:试验数据(数、图、表、动画、视频等)——存储(原)——粉碎——存储(标准),

二是:试验数据(数、图、表、动画、视频等)——粉碎——存储(标准)。

第一种方法,会造成海量数据量再增倍,但可以保留第一手试验数据。

第二种方法,可能会造成再找第一手试验数据时,在TDM中无法找到(须保留设备或专业软件中的数据)。

二种方法,都得对数据进行粉碎。就是在数据采集时,数据采集的明细到哪个程度,一般而言,最末级的数据就是不能再分解的导出数据。这时,数据采集明细、路径、格式、标识、定位等等都得有对应的设置或措施。如果对不能再分解的导出数据还要做进一步粉碎,可能还得应用其他一些数据解析技术。

试验数据粉碎,在技术还不是很简便易行的情况下,可能更多还需要业务管理来辅助,但技术的挑战依然很大。当业务与技术的结合进行平衡时,实施顾问师的附加值就会很高。


(二)试验数据采集、存储与试验报告生成的过程技术问题探讨

先不说数据采集的技术,说说形式可能更好理解,数据采集大概只有三种:全手工、半自动、全自动。全手工对应的数据采集技术,没什么可以讲的;半自动和全自动就涉及到许许多多问题,也需要许许多多技术对应和支持。有些新设备新软件,可能会有数据采集的考虑,但有些设备或软件,可能就不能数据采集。而且,不同设备,产生的试验数据差异很大,包括大小、格式、结构、业务内容等等。对于一些新试验场所,可以通过与设备或软件商的合作或有规划的选择可以互通的设备、软件,并通过这些合作方中的TDM系统来完成试验数据的管理。这种方式就是:买设备、买软件、买TDM

能达到这个条件的,有,但不一定多吧。

更多的是需要互为第三方的采集。第三方的采集,一种方式是半自动,就是有一部分是手工的,有一部分是自动的,主要体现在设备或软件导出是手工、进TDM是自动;另一种是全自动,这需要设备方或软件方开放端口、开放后台,而且双方合作完成接口。后者应用者,少。

半自动采集,不同设备或软件的不同数据源,可能导出的格式、形式等都有差异,当TDM自动导入时,需要对应不同导入形式、不同脚本或模板等来满足。

结构化数据采集,是量的问题,因为可以直接进入关系型数据库。

但非结构化数据采集,目前绝大部分还只能存储在文件服务器中,非结构化数据转化为结构化数据,虽然有一些技术和方式,但还不能方便、全部的转化。非结构化数据的解析和利用或替代,是个技术挑战。

存储的难度,除了采集不能消化的问题最后聚集到了存储阶段外,存储的基本数据单元,也是影响整个应用好坏的标准,这就是平常所说的数据精度、数据颗粒度问题。这是一个技术问题同时也是一个管理问题,因为当业务希望试验数据达到某一精度时,你可能会发现一些原始数据包,你却无法分解或集成。怎么管理试验数据?怎么分类、怎么定义数据?每个企业都不一样,而且在这个新兴市场,还没有很多很好的先例可以借鉴。

当然还有一些算法需要编制,灵活强大的算法编辑功能,也是TDM功底的核心技术。

试验报告生成,一般而言都觉得容易,但是事实并非如此。支持便捷、临时生成试验报告,是对试验报告功能的一大挑战。只有解决这个问题,才能满足千差万别的试验报告内容。目前,传统的试验报告生成方式,在应对这些个性化试验报告时还显得有些力不从心。

新兴的,就意味着不成熟和生机,不成熟就可能代表着失败或曲折;但正因为不成熟,才会有提升的空间和发展的生机。没有必要为出现的问题而徘徊不前,也没必须为一时超越而冲昏头脑。路刚开始,任重而道远,TDM ing

发表于: 2016-01-10 10:06 阅读(976) 评论(1) 收藏 好文推荐

本博客所有内容,若无特殊声明,皆为博主原创作品,未经博主授权,任何人不得复制、转载、摘编等任何方式进行使用和传播。

作者该类其他博文:

评论列表
# re: TDM现状(二)
引用
2016-01-21 10:46 | 伊豆的舞女 | 1楼
文章很有借鉴性,值得分享[鼓掌]


发表评论(网友发言只代表个人观点,不代表本网站观点或立场。)

您尚未登录,请先【登录或注册

关于我

<2019年11月>
272829303112
3456789
10111213141516
17181920212223
24252627282930
1234567

最近来访

留言簿(12)

文章分类

文章档案

相册

本机

网页


最新评论

--xjguo558
--metary
不错 谢谢分享 !--longlong899
文章很有借鉴性,值得分享[鼓掌]--伊豆的舞女
好久没有接触与了解关于企业的信息化了,对于TDM确实需要进步了--cici_0512
说的好 www.uedbetued.com --3095635069
文章总结得很精辟,作者在流程管理方面肯定有深厚的经验。流程管理可以帮助企业做好事前预防、事中控制、事后治理。--可可西917
文章总结的几点非常全面,也非常引人入胜,应该是多年的实施经验才能写出来,非常好!转了--bikingfree
说的好!共享不仅是一种技术,更是一种心态!--PLM爱好者
图片上传错误可能是因为图片名称是中文,改成英文的就好了!--PLM爱好者

阅读排行榜

评论排行榜