大数据Azkaban失败任务预警

Posted 2021-12-20 赵广陆

目录

• 1 默认邮件预警案例
• 2 电话预警案例
• • 2.1 第三方告警平台集成
  • 2.2 测试

---

1 默认邮件预警案例

Azkaban 默认支持通过邮件对失败的任务进行报警，配置方法如下：
1 ） 在 azkaban-web 节 点 hadoop102 上 ， 编 辑
/opt/module/azkaban/azkaban-web/conf/azkaban.properties，
修改如下内容：

[atguigu@hadoop102 azkaban-web]$ vim /opt/module/azkaban/azkaban-
web/conf/azkaban.properties

添加如下内容：

#这里设置邮件发送服务器，需要 申请邮箱，切开通 stmp 服务，以下只是例子
mail.sender=[e-mail]
mail.host=smtp.126.com
mail.user=[e-mail]
mail.password=用邮箱的授权码

2）保存并重启 web-server。

[atguigu@hadoop102 azkaban-web]$ bin/shutdown-web.sh
[atguigu@hadoop102 azkaban-web]$ bin/start-web.sh

3）编辑 basic.flow

nodes:
  - name: jobA
  type: command
  config:
    command: echo "This is an email test."

4）将 azkaban.project 和 basic.flow 压缩成 email.zip
5）创建工程=》上传文件=》执行作业=》查看结果



6）观察邮箱，发现执行成功或者失败的邮件

2 电话预警案例

2.1 第三方告警平台集成

有时任务执行失败后邮件报警接收不及时，因此可能需要其他报警方式，比如电话报警。
如有类似需求，可与第三方告警平台进行集成，例如睿象云。
1）进入睿象云官网注册账号并登录
官网地址：https://www.aiops.com/

2）集成告警平台，使用 Email 集成

3）获取邮箱地址，后边需将报警信息发送至该邮箱

4）配置分派策略

5）配置通知策略

2.2 测试

执行上一个邮件通知的案例，将通知对象改为刚刚集成第三方平台时获取的邮箱。