本文摘录自百度百科
简介
ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。
ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpider
作用
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
数据仓库是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中;在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle……
开源的工具有eclips的etl插件:cloveretl
分享到:
相关推荐
介绍ETL
ETL Automation 是由 Teradata 公司发布的 ETL 流程调度产品,使用 JAVA 程序开发,支持跨平台部署,安装、维护简单。
2. KETTLE简介 2.1. Chef——工作(job)设计器 2.1.1. Chef中的作业项包括: 2.1.2. 工作流 2.1.3. 存储方式 2.1.4. LogView: 2.2. Kitchen——作业执行器 2.3. Spoon——转换过程设计器 2.3.1. Input-Steps...
ETL的介绍和ORACLE ODI的简介
ETL概述及部分工具比较,基本点etl介绍
Luigi的ETL管道 ... 简介... Luigi通过监视基于Web的界面为用户提供查看整个过程的方法。 为此,请在文件目录中打开的命令提示符下运行luigid 下一步...由于我们需要首先提取在第一个任务中分配为Class ExtractD
1.ETL简介随着企业信息化建设的发展,巨大的投资为企业建立了众多的信息系统,以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复...
Kettle工具使用 培训教程 目录 ETL 简介 KETTLE 简介 KETTLE 安装和运行 KETTLE 菜单简介 KETTLE 案例讲解 控件介绍 日志介绍 一、ETL 简介 ETL 概念简介 ETL相关的质量特性 ETL 在数据仓库项目中的位置 二、kettle ...
简介 数据工作流设计器,这个软件的设计目标是实现工作流驱动数据的ETL,集成panda的数据处理能力,实现高效的交互式数据可视化以及能固定输出论文级别的图片,软件主要分三大块:work flow、data、chart
ETL数据抽取方案简介.pdf
ETL工具Kettle简介和安装配置基本使用,详细介绍了对ETL工具Kettle简介和安装配置基本使用
【课程简介】 本课程适合所有需要学习久其ETL数据集成工具知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
ETL工具Kettle简介和安装配置基本使用.
Kettle是一款非常著名的ETL工具,何谓ETL?ETL就是Extract-Transform-Load的缩写,即数据抽取、转换、装载的...课程内容带领同学们由浅入深的学习Kettle,从课程简介,部署,Kettle入门到实战的课程都有系统化的教学。
【课程简介】 本课程适合所有需要学习久其ETL数据集成工具知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
介绍Kettle的基本使用过程,包括ETL简介、Kettle软件简介。