linux部署安装DataX和DataX-Web
一个人也很酷 2024-06-26 09:03:02 阅读 82
1.基础环境
JDK(1.8 及其以上都可以,推荐 1.8),安装过程略
Python(2 或者 3 都可以),安装过程略
Apache Maven 3.6.1+(只有DataX源码编译安装时需要)
1.1下载maven安装包
访问https://maven.apache.org/download.cgi下载官方安装包
1.2安装maven
#创建maven目录
mkdir -p /usr/local/maven
cd /usr/local/maven/
#上传安装包至/usr/local/maven/
# 解压
tar -zxvf apache-maven-3.9.6-bin.tar.gz
1.3配置maven环境变量
vim /etc/profile
#在文件末尾增加
MAVEN_HOME=/usr/local/maven/apache-maven-3.9.6/
PATH=$MAVEN_HOME/bin:$PATH
#保存退出后,重载配置
source /etc/profile
#验证,查看maven版本
mvn -version
1.4配置 Maven 本地仓库
#新建本地库文件夹
mkdir -p /usr/local/maven/repository
#编辑配置文件/usr/local/maven/apache-maven-3.9.6/conf/settings.xml
vim /usr/local/maven/apache-maven-3.9.6/conf/settings.xml
#在注释的localRepository节点后,增加
<localRepository>/usr/local/maven/repository</localRepository>
1.5配置仓库镜像
在 settings.xml 配置文件中找到 mirrors 节点,添加以下内容:
<!-- 阿里云仓库 -->
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>
1.6验证
mvn help:system
执行mvn help:system后会从mven仓库下载一些必须的插件,大概一分多钟,下载完成后会显示系统变量和环境变量。
2.安装DataX
访问https://github.com/alibaba/DataX下载工具包
#将下载好的安装包上传至/usr/local/
#解压
tar -zxvf datax.tar.gz -C /usr/local/
#自检脚本
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json
3.安装DataX-Web
3.1环境要求
MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选
Maven (3.6.1+) 必选
DataX 必选
Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下,网址https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造
3.2下载安装包
访问https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md,下载官方安装包
上传至/usr/local/
3.3安装
#解压
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
#执行安装脚本
/usr/local/datax-web-2.1.2/bin/install.sh --force
3.4数据库配置
在mysql中创建datax_web数据库,执行数据库脚本/bin/db/datax-web.sql
修改DataX-web的配置文件/usr/local/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties
3.5配置python 脚本路径
编辑/usr/local/datax-web-2.1.2/modules/datax-executor/bin/env.properties
PYTHON_PATH=/usr/local/datax/bin/datax.py
3.6启动服务
/usr/local/datax-web-2.1.2/bin/start-all.sh
#查看服务,出现DataXAdminApplication和DataXExecutorApplication进程,表示项目运行成功
jps
3.7访问UI界面
访问地址http://服务器IP:9527/index.html#/login?redirect=%2Fdashboard,其中9527为默认端口,默认账户信息:用户名 admin 密码 123456
4.常见问题
[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数
编辑/usr/local/datax/conf/core.json,调整core.transport.channel.speed.byte为2000000(即2MB)保存即可,无需重启。
参考文章:
DataX官方指引
DataX-Web官方指引
https://blog.csdn.net/weixin_46560589/article/details/134592916
上一篇: 【腾讯云 HAI域探秘】StableDiffusionWebUI一小时搞定100张设计图
下一篇: webdriver报错:TypeError: __init__() got an unexpected keyword argument ‘executable_path‘已解决
本文标签
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。