大數據時代,隨著互聯網、物聯網、云計算、云技術、智能終端等信息技術的迅猛發展,在影響著人們生活的同時,也無時不改變著制造業企業的運作模式。幾乎所有行業所擁有的數據都在增長,這也成為大家共同面臨的挑戰和機遇,制造業自然也不例外。
制造業整個價值鏈、制造業產品的整個生命周期,都涉及到非常多的數據,比如產品數據、運營數據、價值鏈數據、外部數據等等,種類繁多,這些數據將會為企業帶來非常多的價值。
一、大數據平臺在智能制造中的作用
1. 實現由業務流程驅動轉變為數據驅動
企業的信息化建設實現了業務流程數字化,也成功使企業的組織管理形式從初級階段的依靠KPI考核的職能型組織,轉變為中級階段的流程驅動的流程型組織,現在迫切需要轉變為高級階段的數據驅動型組織。
2. 從數據資產中重新挖掘價值
企業多年的信息化建設積累了大量的數據,數據被視為資產越來越受到重視,從海量數據中發現與挖掘價值已成為共識。
3. 實現知過往,知現在,知未來
通過海量歷史數據的推移展示,實現【知過往】。
通過各個維度KPI的標準和達成情況,實現【知現在】。
通過數據分析,趨勢預測,實現【知未來】。
二、 大數據平臺概覽
1. 大數據平臺的組成
大數據平臺主要由5部分組成:
第一部分,數據來源層,數據可以來自于數據庫(結構化數據),文件日志(半結構化數據),視頻、圖片(非結構化數據)。
第二部分,數據傳輸層、存儲層、計算層,擁有消息隊列等數據傳輸手段,數據清洗、抽取和建模能力,海量數據存儲能力,批處理、實時流處理能力,并行計算、內存計算能力。
第三部分,任務調度層,進行實時調度監控,調度預警,可進行調度策略配置,依賴關系分析,調度日志管理。
第四部分,業務模型層,進行業務建模、業務應用、數據可視化展示。
第五部分,數據運營管控、一體化監控。
2. 大數據平臺的主要技術(這里主要介紹開源技術)
實時數據處理技術Kafka
批量抽取技術SQOOP
日志類型數據處理技術Logstash
流式數據處理技術Spark Streaming, Stream Sets
批處理、流處理引擎Mapreduce, Spark,
SQL引擎Hive/Impala/Presto
資源調度YARN
數據安全Sentry
分布式文件系統HDFS
分布式關系數據KUDU
搜索引擎Elastic Search
數據集市TiDB
三、 應該如何建設大數據平臺
1. 大數據平臺的建設應立足于業務主題
企業的業務主題包括采購、銷售、制造、庫存、物流、財務、人力資源等,大數據平臺的建設應考慮到所有的主題。
2. 大數據平臺建設應考慮通用性
鑒于大數據平臺的建設周期和資源,需要考慮其通用性,不僅包括不同主題之間的復用性,而且包括平臺建成后可以推廣至不同企業的通用性。
3. 整體規劃,分步實施
先建設原型,再豐滿實例;先塑造最迫切的主題,再追加到所有的主題。
四、 企業應該如何利用好大數據平臺
1. 明確要解決的業務主題
2. 明確每個業務主題的指標標準,以及指標偏離需要采取的改善措施
3. 確保指標計算所需的元數據的可獲取性及準確性
上一篇: 工業品B2B電商將迎來新拐點!
下一篇: 圖解數字化供應鏈管理六要訣
違法和不良信息舉報投訴電話:0377-62377728 舉報郵箱:fbypt@bjly.net.cn