使用Docker部署DataX3.0+DataX-Web
無法複制 2024-07-19 17:33:01 阅读 98
1、准备基础镜像,开通所需端口
先查看3306和9527端口是否开放,如果未开放先在防火墙添加
<code>firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --zone=public --add-port=9527/tcp --permanent
firewall-cmd --reload
systemctl stop docker
systemctl restart docker
拉取镜像
docker pull linshellfeng/datax_web:3.0.1
或者
docker pull swr.cn-north-1.myhuaweicloud.com/softwares/datax-web:2.1.2
注意:datax_web:3.0.1镜像已经整合了datax3.0和datax-web,整合后的镜像大小约990M
2、初始化数据库
下载DataX-Web源码
https://github.com/WeiYe-Jing/datax-web
1.IDEA编译打包
下载链接:https://pan.baidu.com/s/13a8nIpz6FL8y4fdE94trjQ 提取码:data
2.官方提供的版本tar版本包
https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码:cpsk
创建数据库
mysql> create database datax_web;
解压DataX-Web压缩包
# 找到 bin/db/datax_web.sql 文件,进行初始化
3、在宿主机创建挂载文件
在宿主机创建/usr/datax/datax-web/datax-admin/conf目录,并将bootstrap.properties拷贝到/usr/datax/datax-web/datax-admin/conf目录下,该文件用来配置datax-web连接数据库的信息,ip地址和xxxxxx需要按实际情况填写。
bootstrap.properties内容参考如下:
#Database
DB_HOST=192.168.1.xx
DB_PORT=3306
DB_USERNAME=datax_web
DB_PASSWORD=xxxxxx
DB_DATABASE=datax_web_db
4、启动容器
docker run -d --name datax_web -p 9527:9527 -v /usr/datax/datax-web/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1
或者
docker run -d --name datax_web -p 9527:9527 -v /usr/datax/datax-web/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties swr.cn-north-1.myhuaweicloud.com/softwares/datax-web:2.1.2
5、进入容器内部(非必要步骤,用来测试datax_web容器是否正常启动)
docker exec -it datax_web /bin/bash
6、测试是否datax-web服务是否正常启动
在容器内:curl http://127.0.0.1:9527/index.html
使用浏览器访问宿主机服务:http://宿主机ip:9527/index.html
使用admin/123456登录后及时修改密码
7、异常处理
当运行时:
[AnalysisStatistics.analysisStatisticsLog-53] com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数。
在com\alibaba\datax\core\util\container\CoreConstant.java源码中
public static final String DATAX_JOB_SETTING_SPEED_BYTE = "job.setting.speed.byte";
public static final String DATAX_JOB_SETTING_SPEED_RECORD = "job.setting.speed.record";
public static final String DATAX_CORE_TRANSPORT_CHANNEL_SPEED_BYTE = "core.transport.channel.speed.byte";
public static final String DATAX_CORE_TRANSPORT_CHANNEL_SPEED_RECORD = "core.transport.channel.speed.record";
com\alibaba\datax\core\job\JobContainer.java源码中
boolean isByteLimit = (this.configuration.getInt(
CoreConstant.DATAX_JOB_SETTING_SPEED_BYTE, 0) > 0);
if (isByteLimit) {
long globalLimitedByteSpeed = this.configuration.getInt(
CoreConstant.DATAX_JOB_SETTING_SPEED_BYTE, 10 * 1024 * 1024);
// 在byte流控情况下,单个Channel流量最大值必须设置,否则报错!
Long channelLimitedByteSpeed = this.configuration
.getLong(CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_BYTE);
if (channelLimitedByteSpeed == null || channelLimitedByteSpeed <= 0) {
throw DataXException.asDataXException(
FrameworkErrorCode.CONFIG_ERROR,
"在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数");
}
即下方的core.transport.channel.speed.byte和job.setting.speed.byte需要同时进行设置或全都不设置
{
"core": {
"transport": {
"channel": {
"speed": {
"byte": 2000000 #大于0的数
}
}
}
},
"job": {
"setting": {
"speed": {
"channel": 3,
"byte": 1048576 #大于0的数
},
com\alibaba\datax\core\job\JobContainer.java源码中
boolean isRecordLimit = (this.configuration.getInt(
CoreConstant.DATAX_JOB_SETTING_SPEED_RECORD, 0)) > 0;
if (isRecordLimit) {
long globalLimitedRecordSpeed = this.configuration.getInt(
CoreConstant.DATAX_JOB_SETTING_SPEED_RECORD, 100000);
Long channelLimitedRecordSpeed = this.configuration.getLong(
CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_RECORD);
if (channelLimitedRecordSpeed == null || channelLimitedRecordSpeed <= 0) {
throw DataXException.asDataXException(FrameworkErrorCode.CONFIG_ERROR,
"在有总tps限速条件下,单个channel的tps值不能为空,也不能为非正数");
}
即构建的json文件中的core.transport.channel.speed.record和job.setting.speed.record需要同时进行设置或全都不设置。
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。