時間:2020-08-27來源:瀏覽數:343次
商業智能BI中有許多定義,諸如數據倉庫、數據挖掘、OLAP等,還有一個不得不提的定義,那就是ETL。在BI工程師或相關的職位招聘中,ETL也是必不可少的一項技能。那么,ETL到底是什么呢?
ETL 的英文全稱叫做 Extraction(抽取),Transformation(轉換),Loading(加載)。
抽取主要是針對各個業務系統及不同服務器的分散數據,充分理解數據定義后,規劃需要的數據源及數據定義,制定可操作的數據源,制定增量抽取和緩慢漸變的規則。
轉換就是指數據的清洗、合并、拆分、加工、數據邏輯計算處理的過程,通常會按照一定的業務邏輯規則進行計算,最后轉換成符合業務模型、分析模型的規范性的數據。簡單來說,不管是大數據、小數據,都是將不規范的、不可分析的轉換成規范的、可分析的數據。轉換是ETL中花費時間最長的部分,一般情況下工作量是整個ETL的2/3。
加載主要是將經過轉換的數據加載到數據倉庫里面,可以通過直連數據庫的方式來進行數據加載,可以充分體現高效性。在應用的時候可以隨時調整數據抽取工作的運行方式,可以靈活的集成到其他管理系統中。
ETL的目的是將企業中分散、零亂、標準不統一的數據整合到一起,為企業的決策提供分析依據。 ETL是商業智能BI項目重要的一個環節。通常情況下,在BI項目中ETL會花掉整個項目的1/3的時間,ETL設計的好壞直接關系到BI項目的成敗。
ETL是實現BI的基礎,因為保證了數據的質量與正確性。如果質量出現問題,最后的報表做出來也是錯的。
市面上很多商業智能BI工具并不自帶ETL,而是搭配開源ETL。這樣可能會節省一部分費用,但是一旦出現問題就比較麻煩,用戶需要將問題反饋到開源社區等待處理,在等待處理的過程中可能會浪費大量的時間,反而得不償失。億信ABI就是一款自帶ETL的商業智能BI工具。其數據整合功能充分結合了大量項目人員的實施習慣,在整個數據建模的過程中,可以快速創建ETL過程和構建數據模型,操作簡單,敏捷易用,提高效率,降低實施難度。
發布時間:2023-09-27瀏覽量:98次
發布時間:2022-05-11瀏覽量:354次
發布時間:2022-03-28瀏覽量:242次
發布時間:2022-03-10瀏覽量:2023次
發布時間:2022-03-09瀏覽量:223次