DataX-Web部署和使用

码阁 2024-06-13 10:03:02 阅读 61

一、准备

（一）一台centos 7主机、连网

（二）关闭防火墙

二、jdk安装配置

（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压

（二）配置环境变量，在profile最后面添加

（三）让配置生效

（四）查看java版本，执行下面命令出现jdk版本即安装成功

三、mysql5.7安装配置

（一）查找已经安装的mysql安装包

（二）CentOS7下还需要查找是否存在mariadb包：

（三）上述两步骤如果查出了mysql则需要将对应的文件删除

（四）MySQL 安装会通过 MySQL 用户在 /tmp 下建 tmp_db 文件，故需要给 /tmp 目录权限：

（五）依赖库的检查与下载

（六）下载mysql安装包及解压

（七）开始安装，使用 rpm 命令按顺序依次安装 4 个包：

（八）查看是否安装成功

（九）初始化mysql

（十）启动MySQL服务

（十一）登录：

（十二）重启MySQL服务：

（十三）安装好mysql登录，新增数据库，我新增的是kmt,在kmt下创建了table1和table2表；

（十四）给table1新增数据

四、python2.7安装与配置

（一）安装依赖库及python安装包并解压

（二）创建安装文件夹及编译安装

（三）输入python -version显示版本即安装成功

五、datax安装

（一）下载安装datax工具

（二）删除datax/plugin下._的隐藏文件,否则数据读取写入时会报错

（三）修改原job.json文件

（四）进入datax的bin目录下执行python脚本

六、datax-web安装

（一）下载安装datax-web工具安装包并解压

（二）进入/home/datax-web-2.1.2/bin目录启动datax-web

（三）在浏览器访问http://当前主机ip:datax-web端口/index.html

（四）执行器配置

（五）添加数据源

（六）添加项目

（七）创建datax模板

（八）任务构建，读取表的选择

（九）在操作中编辑相关的内容

（十）手动执行一次后，成功后开启任务

七、数据验证

一、准备

（一）一台centos 7主机、连网

（二）关闭防火墙

systemctl stop firewalld.service 关闭防火墙

systemctl disable firewalld.service 禁用防火墙

systemctl status firewalld.service 查看防火墙状态

二、jdk安装配置

（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpmchmod +x jdk-8u131-linux-x64.rpmrpm -ivh jdk-8u131-linux-x64.rpm

（二）配置环境变量，在profile最后面添加

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

（三）让配置生效

source /etc/profile

（四）查看java版本，执行下面命令出现jdk版本即安装成功

java -version

三、mysql5.7安装配置

（一）查找已经安装的mysql安装包

rpm -qa|grep mysql

（二）CentOS7下还需要查找是否存在mariadb包：

rpm -qa|grep mariadb

（三）上述两步骤如果查出了mysql则需要将对应的文件删除

（四）MySQL 安装会通过 MySQL 用户在 /tmp 下建 tmp_db 文件，故需要给 /tmp 目录权限：

chmod -R 777 /tmp

（五）依赖库的检查与下载

rpm -qa|grep libaiorpm -qa|grep net-toolsyum -y install libaio net-tools//不存在需下载

（六）下载mysql安装包及解压

wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.16-1.el7.x86_64.rpm-bundle.tartar -xvf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar

下载解压后会有四个rpm包

mysql-community-common-5.7.16-1.el6.x86_64.rpm

mysql-community-libs-5.7.16-1.el6.x86_64.rpm

mysql-community-client-5.7.16-1.el6.x86_64.rpm

mysql-community-server-5.7.16-1.el6.x86_64.rpm

（七）开始安装，使用 rpm 命令按顺序依次安装 4 个包：

rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

（八）查看是否安装成功

mysqladmin –version

（九）初始化mysql

mysqld --initialize --user=mysql

这里会产生一个mysql的临时密码，一定要复制出来，如果忘记了可以查看我的关于忘记MySQL的博客

（十）启动MySQL服务

systemctl start mysqld.service

systemctl stop mysqld.service

systemctl status mysqld

systemctl list-unit-files|grep mysqld.service

（十一）登录：

首次登录需用前面生成的临时密码mysql -uroot -p 临时密码，临时密码重启mysql就改变了，故需要修改为固定的密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'new_password';

若设置密码太短等因素导致修改不成功，则修改以下参数

set global validate_password_policy=LOW; // 设置密码的验证强度等级为低(LOW)set global validate_password_length=6; // 设置密码长度为6，最小为4

添加用户、设置字符集等就不在一一介绍了

（十二）重启MySQL服务：

systemctl restart mysqld

（十三）安装好mysql登录，新增数据库，我新增的是kmt,在kmt下创建了table1和table2表；

ceate database kmt;use kmt;CREATE TABLE `table1` (`id` int(10) NULL DEFAULT NULL,`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;CREATE TABLE `table2` (`id` int(10) NULL DEFAULT NULL,`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

（十四）给table1新增数据

table2

四、python2.7安装与配置

（一）安装依赖库及python安装包并解压

yum install gcc g++ zlib zlib-devel openssl-develwget https://www.python.org/ftp/python/2.7/Python-2.7.tgztar -zxvf Python-2.7.14.tgz

（二）创建安装文件夹及编译安装

#创建安装文件夹mkdir /usr/local/pythoncd Python-2.7.14./configure --prefix=/usr/local/python/make && make install

安装完成之后进入目录，里面显示4个目录bin include lib share

（三）输入python -version显示版本即安装成功

五、datax安装

（一）下载安装datax工具

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

（二）删除datax/plugin下._的隐藏文件,否则数据读取写入时会报错

rm -rf /usr/local/datax/plugin/*/._*

（三）修改原job.json文件

{ "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "数据库用户", "password": "数据库密码", "column": [//表中的字段 "id", "name" ], "connection": [ { "table": [ "对应的表" ], "jdbcUrl": [ "jdbc:mysql://ip/要读取的数据库?characterEncoding=utf8" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "数据库用户", "password": "数据库密码", "column": [//对应的字段 "id", "name" ], "connection": [ { "table": [ "对应的表" ], "jdbcUrl": "jdbc:mysql://ip/要写入的表?characterEncoding=utf8" } ] } } } ], "setting": { "speed": { "channel": 1, "byte": 104857600 }, "errorLimit": { "record": 10, "percentage": 0.05 } } }}