datastage是啥工具

Posted 2023-05-18

datastage是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具。
简单说，datastage就是一个实现数据交换的工具。 参考技术A 我刚才帮你查询了，根据相关资料显示，这个是电脑翻译工具。 参考技术B 这个是一个下载APP软件，这个软件里面它能够下载第三方APP，它是一个游戏软件以及软件的软件。 参考技术C IBM® InfoSphere™ Information Server 是一种数据集成软件平台，能够帮助企业从散布在各个系统中的复杂异构信息获得更多价值。InfoSphere Information Server提供了一个统一的平台， 使公司能够了解、清理、变换和交付值得信赖且上下文丰富的信息。 参考技术D 这个软件是一个图片软件的收集修理的一个软件，主要是用来编辑图片。

datastage获取csv文件，并插入数据库

datastage操作流程

文档创建人： 月夜枫

日期：20180112

版本：V1.0

1、处理文件

本次项目的源文件来源于10.126.124.39服务器，39服务器并未开启ftp功能，但是开启了目录共享功能.

1.1、使用bat批处理脚本先将源数据拷贝到本地服务器10.126.124.14中

1.2、同时将多个文件进行合并，方便后续datastage调用，提高效率，否则需要多次运行datastage中job

2、创建job，准备全局job参数

创建job，对job进行参数配置，主要包含：链接服务器参数，链接数据库参数，在数据转换过程中需要的系统参数

3、创建ftp源组件

3.1、在job界面，palette栏，获取一个process相关组件Ftp,设置 properties参数

注：connect参数是源文件所在服务器的ftp的登陆账号密码，需要网络管理员设置。

3.2、Format参数设置

3.3、column参数设置，选择自己创建的table difination,自动引入，在4.1有具体创建步骤

3.4、配置好参数，检查配置问题。

在3.1图中，有一个view data，若配置成功，则可以通过在此可以读取到数据。

注：若出现中文乱码，在下面进行更改字符集

点击下面按键更改

选择NLS，更改字符集

 

4、创建Nettza数据库目标组件

4.1、需要创建一个nettza数据库对应的table difinition组件，保存在对应的目录底下，后续使用。

创建步骤：在主页面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à录入账号密码地址等相关信息 -à选择需要的表，或已经创建的表

4.2、创建数据库目标组件

在job界面，palette栏，获取一个database选择nettza connector，配置相关参数

配置column参数和3.3方式一样，再此不重复讲解。

 

5、创建transformer转换规则

创建transformer,在job界面，palette栏，获取两个link箭头按照数据扭转方向进行连接三个组件。

设置transformer的参数

1、需要点击下图按钮1进行组件column的1对1关联

2、若需要对目标表的数据进行处理选择下图2的地方进行选择，可以更改数据类型，对目标数据进行转换等操作

 

6、测试

保存文件，编译，运行，录入参数进行运行，根据日志进行测试，排查bug

7、制作windows定时任务

1、进入定时任务管理器

开始，控制面板，系统和安全，管理工具，任务计划，打开之后

界面如下

右键“任务计划程序”，创建任务，录入任务名称和描述

最后需要录入管理员账户密码

2、更改定时任务

双击点开任务的属性，注意更改属性为不管是否登陆与否都要运行，并使用最高权限运行。