系列文章目录

运维中心

4.1 功能概述

4.2 操作流程

4.2.1 操作流程概览

4.2.2 步骤一：查看周期任务配置

4.2.3 步骤二：测试周期任务

4.2.4 步骤三：周期任务补历史数据

4.2.5 步骤四：查看周期实例

4.2.6 步骤五：查看执行结果

4.2.7 步骤六：创建自定义监控规则

文章目录

系列文章目录前言4. 运维中心4.1 功能概述4.2 操作流程4.2.1 操作流程概览4.2.2 步骤一：查看周期任务配置4.2.3 步骤二：测试周期任务4.2.4 步骤三：周期任务补历史数据4.2.5 步骤四：查看周期实例4.2.6 步骤五：查看执行结果4.2.7 步骤六：创建自定义监控规则

前言

本文主要详解了DataWorks的数据运维，

后续章节：flink业务开发

4. 运维中心

4.1 功能概述

运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为用户提供任务操作与状态、引擎、资源等多方位的运维能力。

4.2 操作流程

登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 运维中心，在下拉框中选择对应工作空间后单击进入运维中心。或者直接点击上方的运维中心进入。

4.2.1 操作流程概览

操作流程可以分为两个阶段：

阶段一：测试验证调度任务

步骤一：查看周期任务配置

为避免周期任务调度不符合预期，建议在任务发布后先检查周期任务配置的调度参数、调度资源组等是否正确。若不符合预期，请修改相应配置并重新发布。

步骤二：测试周期任务

通过冒烟测试功能验证周期任务在生产环境执行是否正确。若执行出错，请根据报错及时处理，保障任务可正常运行。

步骤三：周期任务补历史数据

通过补数据功能可重新计算历史时间段内的数据。

步骤四：查看周期实例

周期任务发布成功后会根据调度周期生成周期实例，如果在DataStudio中配置的实例生成方式为T+1次日生成，则任务将在第二天开始调度；如果配置为发布后即时生成，则任务当天便会调度。用户可查看调度实例的生成及运行情况，判断任务的周期调度是否正常。

步骤五：查看执行结果

节点执行测试或补数据操作后，用户可查看数据的写入情况。

阶段二：监控周期调度任务

步骤六：创建自定义监控规则

用户可根据业务需求，为周期调度任务配置智能监控规则，监控任务的调度运行状况，保障该任务后续可以正常调度。

步骤七：创建资源组自动运维规则

通过自定义独享资源组的监控规则，对独享资源组的使用率及资源组上等待的实例数设置监控报警，并进行相关运维操作。

4.2.2 步骤一：查看周期任务配置

为避免周期任务调度不符合预期，建议在任务发布后先查看该任务的配置（例如，任务的调度参数、节点依赖关系等）是否正确。

（1）进入运维中心。

（2）查找目标节点。

a.在左侧导航栏单击周期任务运维 > 周期任务。

b.在周期任务页面搜索目标节点。

（3）查看节点详情。

a.单击目标节点，进入节点DAG图。

b.单击展开详情，查看节点的详细信息。

本文示例在周期任务列表中，查找已发布的result_table节点，查看其调度参数、调度资源组配置是否正确。

另外，周期任务中还可以对任务进行其他管理。

4.2.3 步骤二：测试周期任务

通过对周期任务执行冒烟测试，验证该任务在生产环境的调度运行是否符合预期。该操作将真实执行代码逻辑。

注意：如果在数据开发环节进行了冒烟测试，这里可以跳过。

（1）进入冒烟测试

可以通过以下两种方式进入冒烟测试

 方式一：在周期任务列表，单击目标任务操作列的测试。

 方式二：在目标任务的DAG图，右键单击该任务，选择测试。

（2）配置任务测试运行的业务日期及运行时间，单击确定。

任务测试运行时会生成测试实例，用户可进入周期任务运维 > 测试实例页面查看实例的运行详情，判断其运行状况。

本文示例测试result_table节点的运行是否成功。

测试结果：

4.2.4 步骤三：周期任务补历史数据

周期任务开发完成并提交发布后，会按照调度配置定时运行。如果希望重新计算历史时间段内的数据，则可通过补数据功能实现。

（1）进入补数据。可通过如下两种方式进入补数据页面。

 方式一：在周期任务列表，单击目标任务操作列的补数据。

 方式二：在目标任务的DAG图，右键单击该任务，选择补数据。

（2）选择补数据模式。

可根据需求选择如下补数据模式：

（3）配置补数据参数。

根据业务需求配置补数据的业务日期、待补数据的节点等。

本文示例使用当前节点模式，对result_table节点补业务日期20231108~20231109时间段的数据。配置步骤参考下图。

点击确定后，可以在补数据实例中看到补数据实例。

4.2.5 步骤四：查看周期实例

周期任务发布成功后会根据调度周期生成周期实例，如果在DataStudio中配置的实例生成方式为T+1次日生成，则任务将在第二天开始调度；如果配置为发布后即时生成，则任务当天便会调度。用户可查看生成的周期实例，判断任务的调度运行是否正常。

（1）进入周期实例。

在运维中心左侧导航栏，单击周期任务运维 > 周期实例。

（2）查看周期实例。

根据周期任务的调度配置，查看该任务是否调度生成相应周期实例并运行正常。

若实例为未运行状态，建议进行如下处理：

找到未运行的节点，然后右键展开父节点，然后选择层数（可以选择最多的层数）。此时可以看到上游所有依赖的节点，看一下具体哪一个报错了或者没有运行导致该节点没有运行。

4.2.6 步骤五：查看执行结果

周期任务进行测试或补数据后，除了在临时查询中使用sql查询数据外，还可以进入数据地图查看。在数据地图查询目标表，通过查看表详情确认数据写入是否正确。

进入数据地图，搜索result_table，然后点击表进去

即可以看表的元数据信息，以及进行数据预览

注意：

（1）RAM用户默认无MaxCompute引擎中生产表的查询权限。用户可进入数据地图，在表的详情页申请该表权限。详情请参见申请表权限。

（2）在使用临时查询时，默认是开发环境的表，如果需要查询生产环境的表需要加上项目名。

set odps.sql.allow.fullscan=true;

select * from dwhmcx.result_table;

4.2.7 步骤六：创建自定义监控规则

节点测试验证无误后，可为节点自定义监控规则，监控节点运行状态。当节点运行出错时DataWorks会根据配置发送相应报警，以便用户及时发现并处理异常，保障节点日后可正常调度。

（1）在左侧导航栏单击智能监控 > 规则管理。

（2）新建自定义规则。

 单击新建自定义规则。

 配置规则信息。

可根据业务需求，自定义所需规则。

在配置规则时，可以为单个任务节点配置，也可以为基线或工作空间或业务流程或资源组配置，配置详情请参见规则管理。

通常用的有基线管理和工作空间和业务流程，在这里，以工作空间为例进行学习。

 规则名称设置为工作空间监控

 对象类型设置为工作空间

 规则对象选择dwhmcx，并添加

 触发条件也有多种选择，这里选择出错

 报警方式选择短信

 接收人勾选任务责任人以及相关开发人员

 配置完成后点击确认

常见问题：

https://help.aliyun.com/zh/dataworks/support/faq-9/?spm=a2c4g.11186623.0.0.40f627f7ms4p5i