Datax-web 添加达梦数据库

蝈蝈噶蝈蝈噶 2024-07-18 08:33:02 阅读 66

 环境JDK1.8

node 10.24.1

python 2.X

Datax分支tag202309版本

后端项目  分支使用2.1.3-alpha-releaseGitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 - WeiYe-Jing/datax-web

icon-default.png?t=N7T8

https://github.com/WeiYe-Jing/datax-web.git

 前端项目  分支使用2.1.3-alpha-release

        GitHub - WeiYe-Jing/datax-web-ui: DataX Web UI

1、添加达梦JDBC  jdbc包放到 datax-admin/src/mian/lib下

2、pom.xml添加依赖

<code> <dependency>

<groupId>com.dameng</groupId>

<artifactId>Dm8JdbcDriver18</artifactId>

<version>8.1.1.193</version>

<scope>system</scope>

<systemPath>${basedir}/src/main/lib/DmJdbcDriver18-8.1.1.193.jar</systemPath>

</dependency>

3、新增DMWriter类

package com.wugui.datax.admin.tool.datax.writer;

/**

* 达梦

*/

public class DMWriter extends BaseWriterPlugin implements DataxWriterInterface {

@Override

public String getName() {

return "rdbmswriter";

}

}

4、新增DMReader类

package com.wugui.datax.admin.tool.datax.reader;

/**

* 达梦

*/

public class DMReader extends BaseReaderPlugin implements DataxReaderInterface {

@Override

public String getName() {

return "rdbmsreader";

}

}

5、新增DMSQLQueryTool类

package com.wugui.datax.admin.tool.query;

import com.wugui.datatx.core.enums.DbType;

public class DMSQLQueryTool extends BaseQueryTool implements QueryToolInterface{

public DMSQLQueryTool(DbType dbType, String parameter) {

super(dbType, parameter);

}

}

6、在Constants类中添加达梦支持

        datax-core/src/main/java/Constants

public static final String COM_DAMENG_JDBC_DRIVER = "dm.jdbc.driver.DmDriver";

public static final String DAMENG = "DAMENG";

public static final String JDBC_DAMENG = "jdbc:dm://";

7、datax-core项目新增Datasource类

package com.wugui.datatx.core.datasource;

import com.wugui.datatx.core.enums.DbType;

import com.wugui.datatx.core.util.Constants;

public class DMDataSource extends BaseDataSource{

@Override

public String driverClassSelector() {

return Constants.COM_DAMENG_JDBC_DRIVER;

}

@Override

public DbType dbTypeSelector() {

return DbType.DAMENG;

}

}

8、datax-core项目DbType新增达梦枚举

DAMENG(14, Constants.COM_DAMENG_JDBC_DRIVER, DMDataSource.class, "dameng")

9、datax-admin项目DbTypePlugin插件类新增达梦枚举

DAMENG(DbType.DAMENG, DMDatabaseMeta.getInstance(), DMSQLQueryTool.class, new DMReader(), new DMWriter());

10、datax-admin项目新增DMDatabaseMeta类 

package com.wugui.datax.admin.tool.meta;

/**

* 达梦数据库meta信息查询

*/

public class DMDatabaseMeta extends BaseDatabaseMeta{

private volatile static DMDatabaseMeta single;

public static DMDatabaseMeta getInstance() {

if (single == null) {

synchronized (DMDatabaseMeta.class) {

if (single == null) {

single = new DMDatabaseMeta();

}

}

}

return single;

}

@Override

public String getSQLQueryComment(String schemaName, String tableName, String columnName) {

return String.format("SELECT COMMENTS FROM ALL_COL_COMMENTS WHERE SCHEMA_NAME = '%s' AND TABLE_NAME = '%s' AND COLUMN_NAME = '%s'", schemaName, tableName, columnName);

}

@Override

public String getSQLQueryPrimaryKey() {

return "SELECT WM_CONCAT(B.COLUMN_NAME) PK_COLUMNS FROM ALL_CONSTRAINTS A, ALL_CONS_COLUMNS B WHERE A.CONSTRAINT_type='P' AND A.OWNER=? AND A.TABLE_NAME=? AND B.OWNER = A.OWNER AND A.TABLE_NAME = B.TABLE_NAME GROUP BY A.OWNER, A.TABLE_NAME";code>

}

@Override

public String getSQLQueryTables() {

return "select table_name FROM user_tables";

}

@Override

public String getSQLQueryColumns(String... args) {

return "SELECT COLUMN_NAME FROM ALL_TAB_COLUMNS WHERE OWNER = ? AND TABLE_NAME = ?";

}

/**

*

* @param args

* @return

*/

@Override

public String getSQLQueryTableSchema(String... args) {

return "SELECT DISTINCT OBJECT_NAME FROM DBA_OBJECTS WHERE OBJECT_TYPE='SCH'";code>

}

}

11、前端添加配置

       dataSources属性添加

        

<code> { value: 'DAMENG', label: 'DAMENG' }

       selectDataSource方法添加

else if (type === 'DAMENG') {

this.temp.connectionParams.jdbcUrl = 'jdbc:dm://{host}:{port}'

}



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。