加拿大华人论坛 德国工作管中窥豹:大数据时代的德国IT业的个人感受



在加拿大


早就想写点热门话题的自我感受。 大数据和几年前的云类似,很火的一个话题,在中美更是。不过和云稍有不同的是,big data在德国这边叫好不叫座。我想写点skin deep技术文字给未接触过此技术的人看看,以我不成熟的一点经历,就算是管中窥豹吧。

大数据,看文字就知道是数据量大了嘛。大?那就把原来的扩展一下嘛,好比原来一个人干的活,后来事情多了,就三人、五人做嘛。可惜实际上并不是简单的增加软硬件容量那么简单,全世界数据的增长速度解决CPU的摩尔定律,即以指数增长,而靠线性增加软硬件容量的办法是力不从心的。所以,change,在所难免。
Big Data在美国那边人的嘴里,和NoSQL基本是同义词。Big Data包含3V,不只是说Volume大,还有多样性Variety要求速度Velocity,可惜传统的SQL&传统关系型数据库达到不了。大数据好像说的是数据库这些,和分布式系统以及函数编程联系紧密。CAP,GFS/HDFS,MapReduce这些奠定了NoSQL和Big Data的理论基础,所以美国人靠着NoSQL玩起大数据来得心应手。一开始市场还觉得NoSQL还只是Google、Facebook、Amazon它们的阳春白雪,普通公司当然没有这些互联网巨头的那么多数据和高并发要面对。但随着RDMS的缺点越来越突出、各种低成本的NoSQL软件和解决方案的层出不穷,在中美越来越认为,NoSQL是可以低成本的满足大量公司&单位的数据处理要求的,特别是在大数据时代。

回到德国这里,首先要说的就是SAP和这个庞大的(重)工业体系。SAP当然不会在大数据时代自甘寂寞,所以搞出个HANA(先从别的公司买下技术,然后加以改进推出HANA,号称大数据时代的终极解决方案。广告词当然看看就可以了,不过HANA还是一个关系型数据库,不是NoSQL,敢自称自己是玩Big Data的关键在于它是in Memory的,嗯,都放在内存里当然快了,只要土壕买得起硬件。再加上SAP大量的家族产品的高市场占有率,HANA这样的RDMS也敢说自己是大数据时代的。一切都是市场说的算,因此,一开始和Big Data几乎同意思的NoSQL,从not SQL改为not only SQL之后,越来越得退让,只能说是大数据时代的一个组成部分了。

(未完待续)


评论
支持技术普及

评论
顺便说明一下,我个人对技术解决方案上没有感情上的偏好,一切都是为了解决问题和赚钱。

先说几个争议话题或者误会:

1,        大数据技术只跟大公司、特殊领域和业务相关,普通公司没必要赶这个时髦去花冤枉钱。
        对也不对。对于只是管管小数量的业务,比如大学里管学生的数据库,公司给每个员工发工资的这些业务,egal。但其实NoSQL技术,不仅是对big data领域可以用,对数据量暂时不那么大的情况,由于其对硬件的要求低,DBA需求弱,再考虑到起拓展性,NoSQL也未尝不是个很好的选项。

2,         针对大数据的要求,稳妥起见,节约成本,还是别搞NoSQL吧。
        是也不是。SAP HANA、Teradata这样的数据库,成本不是一般的高。考虑到先期沉默成本,那是没辙。如果从头开始,搭建成本低的NoSQL系统是有优势的。但另一方面,大家对NoSQL的了解还不够,熟手不多,解决方案也只是方兴未艾,还谈不上成熟。

3,        SQL技术以后只能靠硬件提升性能,或者针对小打小闹的业务,和NoSQL以后是两条路,各有各的市场。
        现在的确是各有各的市场,但关系型数据库的一方面可以和NoSQL混搭,另一方面SQL方在压力下也有不少改进。除了HANA的土壕式方案,NewSQL的solution也出现了不少,它们在很多细节上做了改进,对锁机制、通信、缓冲、日志等等做了优化。


写着写着,发现要回到“德国”这个中心上来了,下篇就开始讲。


评论
技术贴,一定要顶

评论
大数据发展到今天,已远远超出了数据库的领域,并行计算,网格计算,分布式系统,机器学习这些同样属于。这也是Big Data来了,传统的Datenbanker感到的冲击,还不如那些学数学、统计、物理的人兴奋的原因。各种高深算法、统计分析模型,门槛高我攀不起,就来说说我遇到的德国数据库行业这块吧。

德国现在在搞什么工业四点零,偶尔也提提物联网,大数据并不是最热门话题。据一项调查,现在德国公司的CIO对大数据感到最为了解欠缺,夸张点说就是不知所措。修修补补的事情是在做,像国内JD那样短短几年之内连续升级,从MS SQL,MySQL,到Hadoop去年又搞到Spark,这种魄力和速度还是少见的。另外德国做DWH这块的虽然工资高,但还是基本上只和RDMS打交道,NoSQL难道是洪水猛兽?其实每年增加大数据量,大部分都是非结构或半结构化数据,用RDMS的话要花大量成本做data intergration。不只是互联网企业,包括车厂这样的制造业,其数据结构和数量也是很适合NoSQL的。但车厂这些大户本身还是过于保守,同时由于长期的对IT的从属地位的定位,使得做做传感器的活自己干,剩下的大数据相关的就外包了,(想)以此来实现Industrie 4.0(?) 其它公司曾有过装了Hadoop系统又觉得不好用,再放弃掉的情况。Hadoop诚然有很多不足,又是开源,但真正的问题还是在Hadoop(及其家族产品)的高手极度缺乏。
   
   对企业的实际情况我还是了解很少,自己的粗浅印象就是:

1,        传统的抱负重,观望态度浓厚,或者指望自己的SAP,也可说SAP宣传HANA能提供满意的解决方案。
2,        市场比起中美来太小,需求不那么强烈,也可以说不思进取。修修补补小打小闹别走边看。
3,        相关从业人员和高手严重缺乏,IT consulting公司待遇低,制造业大公司对其反应缓慢,导致新技术推广慢。我知道的几家做big data有领先技术的公司,都是外国公司。
4,        总的来说,符合德国的(重)工业制造业的一贯特点,但对工业界靠吃老本的制造技术+外包IT的搞法想实现Industrie 4.0,特别是在大数据时代,我持怀疑态度。


评论
顶技术贴

评论
是不是知乎也同步发个帖?

评论



工业4.0的灵魂不仅仅是大数据,大数据只是其中的一个很小的部分。 核心是信息化和大数据基础上的CPS(Cyber-Physical Systems) 虚拟融合系统。

3大汽车商搞得是后半段。 西门子是最全的,搞得是全波普的工业4.0.  个人感觉SAP 的HANA也是取得里面一个部分而已。

现在竞争的核心是谁最先出具有国际水平的工业4.0各大标准。就是DIN和ASIN一样,那谁就牢牢占据4.0的制高点了。 就像德国汽车业柴油机等新技术标准的砝码,三巨头兴盛至今。

德国也没办法,智能手机,移动设备和互联网技术已经输给美国,以德国人的基础和反应速度将来在这一块也不可能赢得了美国中国。 所以,只能被迫搞模拟,设计,测试,engineering,生产,维护等一条龙为基础的CPS系统。 现在这个领域倒是中国美国处于追赶德国的态势。

目前德国人工业4.0可以做到以战养战了。 所以,高层说到了工业3.8也不是胡乱说说的。

评论

说得好,工业4.0和大数据的概念不一样,也可以说外延内涵很不一样。
但搞工业4.0如果不好好同时搞大数据,同样是有很大的风险的。
德国工业对信息化中偏硬件的部分采取自己做,偏软件的采取外包为主,大致没错,但隐忧很多

评论
好贴要顶~知乎开贴了没, 链接给一下!

 ·加拿大留学移民 讨论一个双持回国的方案
 ·中文新闻 足球明星在激烈的比赛中击中对手,令人震惊……但他会受到惩
·中文新闻 55 岁的詹妮弗·安妮斯顿和 59 岁的桑德拉·布洛克离开康涅狄格

德国工作-加拿大

Kurzarbeit可以退税吗?

华人网正在填写报税单,去年有一些Kurzarbeit. 这个可以退税吗? 是写在领取过多少失业金那一栏吗? 谢谢 评论 Kurzarbeitgeld是免税的,都没交过税,拿什么退? 其实正好相反,kurzarbeit很可能让你 ...

德国工作-加拿大

咨询转行,求分享看法

华人网本人文科背景,在某小型 IT Consulting 公司(一百来号人)做了三四年的时间(不是 technical consultant,是 management consultant 这个方向的,这个 management consultant 只是相对于前面的 technical ...

德国工作-加拿大

帮忙看下Arbeitszeugnis打分

华人网前面三段是介绍个人情况,单位情况,以及完成的任务,从第四段开始: Herr X hat sich nach einer Eingewhnungsphase zügig in das für ihn neue Projekt eingearbeitet und zunehmend wertvolle Beitrge zur Weiterentwic ...

德国工作-加拿大

关于职位名称问题

华人网最近看到一个职位 挺感兴趣的。。。其实主要是工作地点 (吐槽下 稍大点城市的制造业机会真心少啊 都是在鸟不拉屎的村里)看职位描述和自己目前做的十分相似 只不过自己的职位 ...

德国工作-加拿大

请教 AT 合同

华人网大家好, 由于外派,拿了一个所谓AT的外派合同。为啥用了“所谓”二字呢?因为在合同上面没有体现AT字样。 只写了Entsendevertrag, 说是我原来合同的补充,外派结束,又改回原来的合 ...