Datax-web 添加达梦数据库
蝈蝈噶蝈蝈噶 2024-07-18 08:33:02 阅读 66
环境JDK1.8
node 10.24.1
python 2.X
Datax分支tag202309版本
后端项目 分支使用2.1.3-alpha-releaseGitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 - WeiYe-Jing/datax-web
https://github.com/WeiYe-Jing/datax-web.git
前端项目 分支使用2.1.3-alpha-release
GitHub - WeiYe-Jing/datax-web-ui: DataX Web UI
1、添加达梦JDBC jdbc包放到 datax-admin/src/mian/lib下
2、pom.xml添加依赖
<code> <dependency>
<groupId>com.dameng</groupId>
<artifactId>Dm8JdbcDriver18</artifactId>
<version>8.1.1.193</version>
<scope>system</scope>
<systemPath>${basedir}/src/main/lib/DmJdbcDriver18-8.1.1.193.jar</systemPath>
</dependency>
3、新增DMWriter类
package com.wugui.datax.admin.tool.datax.writer;
/**
* 达梦
*/
public class DMWriter extends BaseWriterPlugin implements DataxWriterInterface {
@Override
public String getName() {
return "rdbmswriter";
}
}
4、新增DMReader类
package com.wugui.datax.admin.tool.datax.reader;
/**
* 达梦
*/
public class DMReader extends BaseReaderPlugin implements DataxReaderInterface {
@Override
public String getName() {
return "rdbmsreader";
}
}
5、新增DMSQLQueryTool类
package com.wugui.datax.admin.tool.query;
import com.wugui.datatx.core.enums.DbType;
public class DMSQLQueryTool extends BaseQueryTool implements QueryToolInterface{
public DMSQLQueryTool(DbType dbType, String parameter) {
super(dbType, parameter);
}
}
6、在Constants类中添加达梦支持
datax-core/src/main/java/Constants
public static final String COM_DAMENG_JDBC_DRIVER = "dm.jdbc.driver.DmDriver";
public static final String DAMENG = "DAMENG";
public static final String JDBC_DAMENG = "jdbc:dm://";
7、datax-core项目新增Datasource类
package com.wugui.datatx.core.datasource;
import com.wugui.datatx.core.enums.DbType;
import com.wugui.datatx.core.util.Constants;
public class DMDataSource extends BaseDataSource{
@Override
public String driverClassSelector() {
return Constants.COM_DAMENG_JDBC_DRIVER;
}
@Override
public DbType dbTypeSelector() {
return DbType.DAMENG;
}
}
8、datax-core项目DbType新增达梦枚举
DAMENG(14, Constants.COM_DAMENG_JDBC_DRIVER, DMDataSource.class, "dameng")
9、datax-admin项目DbTypePlugin插件类新增达梦枚举
DAMENG(DbType.DAMENG, DMDatabaseMeta.getInstance(), DMSQLQueryTool.class, new DMReader(), new DMWriter());
10、datax-admin项目新增DMDatabaseMeta类
package com.wugui.datax.admin.tool.meta;
/**
* 达梦数据库meta信息查询
*/
public class DMDatabaseMeta extends BaseDatabaseMeta{
private volatile static DMDatabaseMeta single;
public static DMDatabaseMeta getInstance() {
if (single == null) {
synchronized (DMDatabaseMeta.class) {
if (single == null) {
single = new DMDatabaseMeta();
}
}
}
return single;
}
@Override
public String getSQLQueryComment(String schemaName, String tableName, String columnName) {
return String.format("SELECT COMMENTS FROM ALL_COL_COMMENTS WHERE SCHEMA_NAME = '%s' AND TABLE_NAME = '%s' AND COLUMN_NAME = '%s'", schemaName, tableName, columnName);
}
@Override
public String getSQLQueryPrimaryKey() {
return "SELECT WM_CONCAT(B.COLUMN_NAME) PK_COLUMNS FROM ALL_CONSTRAINTS A, ALL_CONS_COLUMNS B WHERE A.CONSTRAINT_type='P' AND A.OWNER=? AND A.TABLE_NAME=? AND B.OWNER = A.OWNER AND A.TABLE_NAME = B.TABLE_NAME GROUP BY A.OWNER, A.TABLE_NAME";code>
}
@Override
public String getSQLQueryTables() {
return "select table_name FROM user_tables";
}
@Override
public String getSQLQueryColumns(String... args) {
return "SELECT COLUMN_NAME FROM ALL_TAB_COLUMNS WHERE OWNER = ? AND TABLE_NAME = ?";
}
/**
*
* @param args
* @return
*/
@Override
public String getSQLQueryTableSchema(String... args) {
return "SELECT DISTINCT OBJECT_NAME FROM DBA_OBJECTS WHERE OBJECT_TYPE='SCH'";code>
}
}
11、前端添加配置
dataSources属性添加
<code> { value: 'DAMENG', label: 'DAMENG' }
selectDataSource方法添加
else if (type === 'DAMENG') {
this.temp.connectionParams.jdbcUrl = 'jdbc:dm://{host}:{port}'
}
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。