当前位置：前端开发 >  Datax可视化工具Datax-web安装部署

Datax可视化工具Datax-web安装部署

火炎焱小码哥 2024-07-10 14:03:01 阅读 58

文章目录

一、Datax-web官网二、Datax-web介绍1、Datax-web概述2、架构图3、系统环境要求4、特性支持

三、安装部署1、环境准备2、Datax-web安装包准备

一、Datax-web官网

github：Datax-web

gitee: Datax-web

二、Datax-web介绍

1、Datax-web概述

DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

2、架构图

在这里插入图片描述

3、系统环境要求

JDK版本: Java 8（jdk版本建议1.8.201以上）Python版本：Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下)操作系统: MacOS, Windows,Linux数据库版本: Mysql5.7及以上

4、特性支持

1、通过Web构建DataX Json；2、DataX Json保存在数据库中，方便任务的迁移，管理；3、Web实时查看抽取日志，类似Jenkins的日志控制台输出功能；4、DataX运行记录展示，可页面操作停止DataX作业；5、支持DataX定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；6、调度采用中心式设计，支持集群部署；7、任务分布式执行，任务"执行器"支持集群部署；8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行；9、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；10、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；11、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；12、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；13、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；14、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；15、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；16、运行报表：支持实时查看运行数据，以及调度报表，如调度日期分布图，调度成功分布图等；17、指定增量字段，配置定时任务自动获取每次的数据区间，任务失败重试，保证数据安全；18、页面可配置DataX启动JVM参数；19、数据源配置成功后添加手动测试功能；20、可以对常用任务进行配置模板，在构建完JSON之后可选择关联模板创建任务；21、jdbc添加hive数据源支持，可在构建JSON页面选择数据源生成column信息并简化配置；22、优先通过环境变量获取DataX文件目录，集群部署时不用指定JSON及日志目录；23、通过动态参数配置指定hive分区，也可以配合增量实现增量数据动态插入分区；24、任务类型由原来DataX任务扩展到Shell任务、Python任务、PowerShell任务；25、添加HBase数据源支持，JSON构建可通过HBase数据源获取hbaseConfig，column；26、添加MongoDB数据源支持，用户仅需要选择collectionName即可完成json构建；27、添加执行器CPU、内存、负载的监控页面；28、添加24类插件DataX JSON配置样例29、公共字段（创建时间，创建人，修改时间，修改者）插入或更新时自动填充30、对swagger接口进行token验证31、任务增加超时时间，对超时任务kill datax进程，可配合重试策略避免网络问题导致的datax卡死。32、添加项目管理模块，可对任务分类管理；33、对RDBMS数据源增加批量任务创建功能，选择数据源，表即可根据模板批量生成DataX同步任务；34、JSON构建增加ClickHouse数据源支持；35、执行器CPU.内存.负载的监控页面图形化；36、RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置；37、更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块；38、脚本类型任务增加停止功能；39、rdbms json构建增加postSql，并支持构建多个preSql，postSql；40、数据源信息加密算法修改及代码优化；41、日志页面增加DataX执行结果统计数据；

三、安装部署

官网安装教程

1、环境准备

在这里插入图片描述

2、Datax-web安装包准备

官方提供的tar包

官方链接，提取码：cpsk

自己本地打包编译

直接从Git上面获得源代码

<code>git clone https://gitee.com/WeiYe-Jing/datax-web.git

进入项目源码根目录执行以下命令

mvn clean install

执行成功后将会在工程的build目录下生成安装包

build/datax-web-{ VERSION}.tar.gz

开始部署

上传到服务器指定目录，进行解压

tar -zxvf datax-web-{ VERSION}.tar.gz

执行一键安装脚本

进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

./bin/install.sh

在交互模式下，对各个模块的package压缩包的解压以及configure配置脚本的调用，都会请求用户确认,可根据提示查看是否安装成功，如果没有安装成功，可以重复尝试； 如果不想使用交互模式，跳过确认过程，则执行以下命令安装

./bin/install.sh --force

数据库初始化及配置文件

修改相关配置文件

vi ./modules/datax-admin/conf/bootstrap.properties

将注释放开配置数据库相关信息

#Database

#DB_HOST=

#DB_PORT=

#DB_USERNAME=

#DB_PASSWORD=

#DB_DATABASE=

进入到此目录/bin/db/datax-web.sql脚本去手动执行

相关sql

SET NAMES utf8mb4;

SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------

-- Table structure for job_group

-- ----------------------------

DROP TABLE IF EXISTS `job_group`;

CREATE TABLE `job_group` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`app_name` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '执行器AppName',

`title` varchar(12) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '执行器名称',

`order` int(11) NOT NULL DEFAULT 0 COMMENT '排序',

`address_type` tinyint(4) NOT NULL DEFAULT 0 COMMENT '执行器地址类型：0=自动注册、1=手动录入',

`address_list` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器地址列表，多地址逗号分隔',

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Records of job_group

-- ----------------------------

INSERT INTO `job_group` VALUES (1, 'datax-executor', 'datax执行器', 1, 0, NULL);

-- ----------------------------

-- Table structure for job_info

-- ----------------------------

DROP TABLE IF EXISTS `job_info`;

CREATE TABLE `job_info` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`job_group` int(11) NOT NULL COMMENT '执行器主键ID',

`job_cron` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '任务执行CRON',

`job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,

`add_time` datetime(0) NULL DEFAULT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

`author` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '作者',

`alarm_email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '报警邮件',

`executor_route_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器路由策略',

`executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',

`executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务参数',

`executor_block_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '阻塞处理策略',

`executor_timeout` int(11) NOT NULL DEFAULT 0 COMMENT '任务执行超时时间，单位秒',

`executor_fail_retry_count` int(11) NOT NULL DEFAULT 0 COMMENT '失败重试次数',

`glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE类型',

`glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',

`glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE备注',

`glue_updatetime` datetime(0) NULL DEFAULT NULL COMMENT 'GLUE更新时间',

`child_jobid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',

`trigger_status` tinyint(4) NOT NULL DEFAULT 0 COMMENT '调度状态：0-停止，1-运行',

`trigger_last_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '上次调度时间',

`trigger_next_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '下次调度时间',

`job_json` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT 'datax运行脚本',

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 7 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for job_jdbc_datasource

-- ----------------------------

DROP TABLE IF EXISTS `job_jdbc_datasource`;

CREATE TABLE `job_jdbc_datasource` (

`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',

`datasource_name` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '数据源名称',

`datasource_group` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT 'Default' COMMENT '数据源分组',

`jdbc_username` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '用户名',

`jdbc_password` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '密码',

`jdbc_url` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'jdbc url',

`jdbc_driver_class` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'jdbc驱动类',

`status` tinyint(1) NOT NULL DEFAULT 1 COMMENT '状态：0删除 1启用 2禁用',

`create_by` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',

`create_date` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT '创建时间',

`update_by` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',

`update_date` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',

`comments` varchar(1000) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '备注',

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 6 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'jdbc数据源配置' ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for job_lock

-- ----------------------------

DROP TABLE IF EXISTS `job_lock`;

CREATE TABLE `job_lock` (

`lock_name` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '锁名称',

PRIMARY KEY (`lock_name`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Records of job_lock

-- ----------------------------

INSERT INTO `job_lock` VALUES ('schedule_lock');

-- ----------------------------

-- Table structure for job_log

-- ----------------------------

DROP TABLE IF EXISTS `job_log`;

CREATE TABLE `job_log` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`job_group` int(11) NOT NULL COMMENT '执行器主键ID',

`job_id` int(11) NOT NULL COMMENT '任务，主键ID',

`job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,

`executor_address` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器地址，本次执行的地址',

`executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',

`executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务参数',

`executor_sharding_param` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',

`executor_fail_retry_count` int(11) NULL DEFAULT 0 COMMENT '失败重试次数',

`trigger_time` datetime(0) NULL DEFAULT NULL COMMENT '调度-时间',

`trigger_code` int(11) NOT NULL COMMENT '调度-结果',

`trigger_msg` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT '调度-日志',

`handle_time` datetime(0) NULL DEFAULT NULL COMMENT '执行-时间',

`handle_code` int(11) NOT NULL COMMENT '执行-状态',

`handle_msg` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT '执行-日志',

`alarm_status` tinyint(4) NOT NULL DEFAULT 0 COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',

`process_id` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'datax进程Id',

`max_id` bigint(20) NULL DEFAULT NULL COMMENT '增量表max id',

PRIMARY KEY (`id`) USING BTREE,

INDEX `I_trigger_time`(`trigger_time`) USING BTREE,

INDEX `I_handle_code`(`handle_code`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 0 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for job_log_report

-- ----------------------------

DROP TABLE IF EXISTS `job_log_report`;

CREATE TABLE `job_log_report` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`trigger_day` datetime(0) NULL DEFAULT NULL COMMENT '调度-时间',

`running_count` int(11) NOT NULL DEFAULT 0 COMMENT '运行中-日志数量',

`suc_count` int(11) NOT NULL DEFAULT 0 COMMENT '执行成功-日志数量',

`fail_count` int(11) NOT NULL DEFAULT 0 COMMENT '执行失败-日志数量',

PRIMARY KEY (`id`) USING BTREE,

UNIQUE INDEX `i_trigger_day`(`trigger_day`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 28 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Records of job_log_report

-- ----------------------------

INSERT INTO `job_log_report` VALUES (20, '2019-12-07 00:00:00', 0, 0, 0);

INSERT INTO `job_log_report` VALUES (21, '2019-12-10 00:00:00', 77, 52, 23);

INSERT INTO `job_log_report` VALUES (22, '2019-12-11 00:00:00', 9, 2, 11);

INSERT INTO `job_log_report` VALUES (23, '2019-12-13 00:00:00', 9, 48, 74);

INSERT INTO `job_log_report` VALUES (24, '2019-12-12 00:00:00', 10, 8, 30);

INSERT INTO `job_log_report` VALUES (25, '2019-12-14 00:00:00', 78, 45, 66);

INSERT INTO `job_log_report` VALUES (26, '2019-12-15 00:00:00', 24, 76, 9);

INSERT INTO `job_log_report` VALUES (27, '2019-12-16 00:00:00', 23, 85, 10);

-- ----------------------------

-- Table structure for job_logglue

-- ----------------------------

DROP TABLE IF EXISTS `job_logglue`;

CREATE TABLE `job_logglue` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`job_id` int(11) NOT NULL COMMENT '任务，主键ID',

`glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE类型',

`glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',

`glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE备注',

`add_time` datetime(0) NULL DEFAULT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for job_registry

-- ----------------------------

DROP TABLE IF EXISTS `job_registry`;

CREATE TABLE `job_registry` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`registry_group` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,

`registry_key` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,

`registry_value` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `i_g_k_v`(`registry_group`, `registry_key`, `registry_value`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 26 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for job_user

-- ----------------------------

DROP TABLE IF EXISTS `job_user`;

CREATE TABLE `job_user` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`username` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '账号',

`password` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '密码',

`role` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '角色：0-普通用户、1-管理员',

`permission` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',

PRIMARY KEY (`id`) USING BTREE,

UNIQUE INDEX `i_username`(`username`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 10 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Records of job_user

-- ----------------------------

INSERT INTO `job_user` VALUES (1, 'admin', '$2a$10$2KCqRbra0Yn2TwvkZxtfLuWuUP5KyCWsljO/ci5pLD27pqR3TV1vy', 'ROLE_ADMIN', NULL);

/**

v2.1.1脚本更新

*/

ALTER TABLE `job_info`

ADD COLUMN `replace_param` VARCHAR(100) NULL DEFAULT NULL COMMENT '动态参数' AFTER `job_json`,

ADD COLUMN `jvm_param` VARCHAR(200) NULL DEFAULT NULL COMMENT 'jvm参数' AFTER `replace_param`,

ADD COLUMN `time_offset` INT(11) NULL DEFAULT '0'COMMENT '时间偏移量' AFTER `jvm_param`;

/**

增量改版脚本更新

*/

ALTER TABLE `job_info` DROP COLUMN `time_offset`;

ALTER TABLE `job_info`

ADD COLUMN `inc_start_time` DATETIME NULL DEFAULT NULL COMMENT '增量初始时间' AFTER `jvm_param`;

-- ----------------------------

-- Table structure for job_template

-- ----------------------------

DROP TABLE IF EXISTS `job_template`;

CREATE TABLE `job_template` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`job_group` int(11) NOT NULL COMMENT '执行器主键ID',

`job_cron` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '任务执行CRON',

`job_desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL,

`add_time` datetime(0) NULL DEFAULT NULL,

`update_time` datetime(0) NULL DEFAULT NULL,

`user_id` int(11) NOT NULL COMMENT '修改用户',

`alarm_email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '报警邮件',

`executor_route_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器路由策略',

`executor_handler` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器任务handler',

`executor_param` varchar(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '执行器参数',

`executor_block_strategy` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '阻塞处理策略',

`executor_timeout` int(11) NOT NULL DEFAULT 0 COMMENT '任务执行超时时间，单位秒',

`executor_fail_retry_count` int(11) NOT NULL DEFAULT 0 COMMENT '失败重试次数',

`glue_type` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'GLUE类型',

`glue_source` mediumtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL COMMENT 'GLUE源代码',

`glue_remark` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'GLUE备注',

`glue_updatetime` datetime(0) NULL DEFAULT NULL COMMENT 'GLUE更新时间',

`child_jobid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',

`trigger_last_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '上次调度时间',

`trigger_next_time` bigint(13) NOT NULL DEFAULT 0 COMMENT '下次调度时间',

`job_json` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT 'datax运行脚本',

`jvm_param` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'jvm参数',

`project_id` int(11) NULL DEFAULT NULL COMMENT '所属项目Id',

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 22 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

/**

添加数据源字段

*/

ALTER TABLE `job_jdbc_datasource`

ADD COLUMN `datasource` VARCHAR(45) NOT NULL COMMENT '数据源' AFTER `datasource_name`;

/**

添加分区字段

*/

ALTER TABLE `job_info`

ADD COLUMN `partition_info` VARCHAR(100) NULL DEFAULT NULL COMMENT '分区信息' AFTER `inc_start_time`;

/**

2.1.1版本新增----------------------------------------------------------------------------------------------

*/

/**

最近一次执行状态

*/

ALTER TABLE `job_info`

ADD COLUMN `last_handle_code` INT(11) NULL DEFAULT '0' COMMENT '最近一次执行状态' AFTER `partition_info`;

/**

zookeeper地址

*/

ALTER TABLE `job_jdbc_datasource`

ADD COLUMN `zk_adress` VARCHAR(200) NULL DEFAULT NULL AFTER `jdbc_driver_class`;

ALTER TABLE `job_info`

CHANGE COLUMN `executor_timeout` `executor_timeout` INT(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位分钟' ;

/**

用户名密码改为非必填

*/

ALTER TABLE `job_jdbc_datasource`

CHANGE COLUMN `jdbc_username` `jdbc_username` VARCHAR(100) CHARACTER SET 'utf8mb4' NULL DEFAULT NULL COMMENT '用户名' ,

CHANGE COLUMN `jdbc_password` `jdbc_password` VARCHAR(200) CHARACTER SET 'utf8mb4' NULL DEFAULT NULL COMMENT '密码' ;

/**

添加mongodb数据库名字段

*/

ALTER TABLE `job_jdbc_datasource`

ADD COLUMN `database_name` VARCHAR(45) NULL DEFAULT NULL COMMENT '数据库名' AFTER `datasource_group`;

/**

添加执行器资源字段

*/

ALTER TABLE `job_registry`

ADD COLUMN `cpu_usage` DOUBLE NULL AFTER `registry_value`,

ADD COLUMN `memory_usage` DOUBLE NULL AFTER `cpu_usage`,

ADD COLUMN `load_average` DOUBLE NULL AFTER `memory_usage`;

-- ----------------------------

-- Table structure for job_permission

-- ----------------------------

DROP TABLE IF EXISTS `job_permission`;

CREATE TABLE `job_permission` (

`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',

`name` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT '权限名',

`description` varchar(11) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限描述',

`url` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,

`pid` int(11) NULL DEFAULT NULL,

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 3 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

ALTER TABLE `job_info`

ADD COLUMN `replace_param_type` varchar(255) NULL COMMENT '增量时间格式' AFTER `last_handle_code`;

ALTER TABLE `job_info`

ADD COLUMN `project_id` int(11) NULL COMMENT '所属项目id' AFTER `job_desc`;

ALTER TABLE `job_info`

ADD COLUMN `reader_table` VARCHAR(255) NULL COMMENT 'reader表名称' AFTER `replace_param_type`,

ADD COLUMN `primary_key` VARCHAR(50) NULL COMMENT '增量表主键' AFTER `reader_table`,

ADD COLUMN `inc_start_id` VARCHAR(20) NULL COMMENT '增量初始id' AFTER `primary_key`,

ADD COLUMN `increment_type` TINYINT(4) NULL COMMENT '增量类型' AFTER `inc_start_id`,

ADD COLUMN `datasource_id` BIGINT(11) NULL COMMENT '数据源id' AFTER `increment_type`;

CREATE TABLE `job_project` (

`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'key',

`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT 'project name',

`description` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,

`user_id` int(11) NULL DEFAULT NULL COMMENT 'creator id',

`flag` tinyint(4) NULL DEFAULT 1 COMMENT '0 not available, 1 available',

`create_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT 'create time',

`update_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) COMMENT 'update time',

PRIMARY KEY (`id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

ALTER TABLE `job_info`

CHANGE COLUMN `author` `user_id` INT(11) NOT NULL COMMENT '修改用户' ;

ALTER TABLE `job_info`

CHANGE COLUMN `increment_type` `increment_type` TINYINT(4) NULL DEFAULT 0 COMMENT '增量类型' ;

修改项目相关配置

在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

vi ./modules/{ module_name}/bin/env.properties

### 执行datax的python脚本地址

# 我的配置地址是这样，修改成自己的datax地址

PYTHON_PATH=/mnt/datax/bin/datax.py

### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略

DATAX_ADMIN_PORT=

启动服务

一键启动所有服务，执行以下命令

./bin/start-all.sh

中途可能发生部分模块启动失败或者卡住，可以退出重复执行，如果需要改变某一模块服务端口号，则：

vi ./modules/{ module_name}/bin/env.properties

找到SERVER_PORT配置项，改变它的值即可。 当然也可以单一地启动某一模块服务：

./bin/start.sh -m { module_name}

一键取消所有服务

./bin/stop-all.sh

当然也可以单一地停止某一模块服务：

./bin/stop.sh -m { module_name}

查看服务（注意！注意！）

在Linux环境下使用JPS命令，查看是否出现DataXAdminApplication和DataXExecutorApplication进程，如果存在这表示项目运行成功

如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out

访问datax web地址

部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）

输入用户名 admin 密码 123456 就可以直接访问系统

出现以下界面说明项目可以正常访问

在这里插入图片描述

上一篇： .NET8 webapi 使用 WebSocket 通信

下一篇： 【GSAP】ScrollTrigger插件的注意事项 | 用的好，非常流畅。用的不好，卡到爆炸的前端动画库

本文标签

Datax可视化工具Datax-web安装部署   

声明

本文内容仅代表作者观点，或转载于其他网站，本站不以此文作为商业用途
如有涉及侵权，请联系本站进行删除
转载本站原创文章，请注明来源及作者。

相关文章

阅读排行

热门文章