跳到主要内容
版本 下一

警报和报告

用户可以配置自动警报和报告，将仪表盘或图表发送给电子邮件收件人或 Slack 频道。

  • 警报在达到 SQL 条件时发送
  • 报告按计划发送

警报和报告默认禁用。要启用它们，您需要更改配置设置并在您的环境中安装合适的无头浏览器。

要求​

通用​

在您的 superset_config.py 或 superset_config_docker.py 中​

  • "ALERT_REPORTS" 功能标志必须设置为 True。
  • CeleryConfig 中的 beat_schedule 必须包含 reports.scheduler 的调度。
  • 您必须至少配置其中一项，具体取决于您要使用的功能
    • 电子邮件：SMTP_* 设置
    • Slack 消息：SLACK_API_TOKEN
  • 用户可以通过包含日期代码占位符来自定义电子邮件主题，这些占位符将在电子邮件发送时自动替换为相应的 UTC 日期。要启用此功能，请激活 "DATE_FORMAT_IN_EMAIL_SUBJECT" 功能标志。这允许在电子邮件主题中格式化日期，防止所有报告电子邮件被分组到同一线程中（对于报告功能是可选的）。
    • 使用 strftime.org 中的日期代码创建电子邮件主题。
    • 如果未提供日期代码，则原始字符串将用作电子邮件主题。
禁用试运行模式​

只要 ALERT_REPORTS_NOTIFICATION_DRY_RUN = True（这是 docker/pythonpath_dev/superset_config.py 中的默认值），就会生成截图但不会实际发送消息。要禁用试运行模式并开始接收电子邮件/Slack 通知，请在 Superset 配置中将 ALERT_REPORTS_NOTIFICATION_DRY_RUN 设置为 False。

在您的 Dockerfile 中​

您需要扩展 Superset 镜像以包含无头浏览器。您的选项包括

  • 使用 Playwright 和 Chrome：这是 4.1.x 或更高版本推荐的方法。在 Docker 构建页面上的“构建您自己的生产 Docker 镜像”下提供了安装这些工具的 Dockerfile 的工作示例。阅读那里的代码注释，因为您还需要更改配置中的一个功能标志。
  • 使用 Firefox：您需要安装 geckodriver 和 Firefox。
  • 不使用 Playwright 使用 Chrome：您需要安装 Chrome 并在您的 superset_config.py 中将 WEBDRIVER_TYPE 的值设置为 "chrome"。

在 Superset <=4.0x 版本中，用户安装了 Firefox 或 Chrome，并在此处记录了这一点。

只有工作容器需要浏览器。

Slack 集成​

要将警报和报告发送到 Slack 频道，您需要在工作区中创建一个新的 Slack 应用程序。

  1. 连接到您的 Slack 工作区，然后前往 [https://api.slack.com/apps]。
  2. 创建一个新应用程序。
  3. 转到“OAuth & 权限”部分，并为您的应用程序授予以下范围
    • incoming-webhook
    • files:write
    • chat:write
    • channels:read
    • groups:read
  4. 在“OAuth 和权限”部分的顶部，单击“安装到工作区”。
  5. 为您的应用程序选择一个默认频道并继续。（您可以通过邀请您的 Superset 应用程序进入任何频道来向该频道发帖）。
  6. 应用程序现在应该已安装在您的工作区中，并且应该已创建了一个“Bot 用户 OAuth 访问令牌”。将该令牌复制到您的 superset_config.py 的 SLACK_API_TOKEN 变量中。
  7. 确保 superset_config.py 中的功能标志 ALERT_REPORT_SLACK_V2 设置为 True
  8. 重启服务（或运行 superset init）以拉取新配置。

注意：当您配置警报或报告时，Slack 频道列表不带前导 '#'，例如使用 alerts 而不是 #alerts。

大型 Slack 工作区（10k+ 频道）​

对于拥有大量频道的工作区，获取完整的频道列表可能需要几分钟，并可能遇到 Slack API 速率限制。将以下内容添加到您的 superset_config.py

from datetime import timedelta

# Increase cache timeout to reduce API calls
# Default: 1 day (86400 seconds)
SLACK_CACHE_TIMEOUT = int(timedelta(days=2).total_seconds())

# Increase retry count for rate limit errors
# Default: 2
SLACK_API_RATE_LIMIT_RETRY_COUNT = 5

Kubernetes 特有​

  • 您必须运行一个 celery beat pod。如果您使用的是 GitHub 仓库中 helm/superset 下包含的图表，您需要在您的值覆盖中设置 supersetCeleryBeat.enabled = true。
  • 您可以查看关于 Kubernetes 安装的专用文档以获取更多详细信息。

Docker Compose 特有​

您必须在您的 docker-compose.yml 中包含​

  • 一个 Redis 消息代理
  • PostgreSQL 数据库而不是 SQLlite
  • 一个或多个 celery worker
  • 一个单独的 celery beat

此过程也适用于 Docker swarm 环境，您只需将 Deploy: 添加到 Superset、Redis 和 Postgres 服务以及您的 swarm 的特定配置。

详细配置​

以下配置需要添加到 superset_config.py 文件中。此文件在镜像运行时加载，其中的任何配置都将覆盖 config.py 中找到的默认配置。

您可以在 GitHub 仓库中 superset/config.py 下找到默认 config.py 中每个字段的文档。

您需要将默认值替换为您的自定义 Redis、Slack 和/或 SMTP 配置。

Superset 使用 Celery beat 和 Celery worker(s) 来发送警报和报告。

  • beat 是调度程序，它告诉 worker 何时执行其任务。此调度在您创建警报或报告时定义。
  • worker 将处理当警报或报告触发时需要执行的任务。

在 CeleryConfig 中，只有 beat_schedule 与此功能相关，CeleryConfig 的其余部分可以根据您的需要进行更改。

from celery.schedules import crontab

FEATURE_FLAGS = {
    "ALERT_REPORTS": True
}

REDIS_HOST = "superset_cache"
REDIS_PORT = "6379"

class CeleryConfig:
    broker_url = f"redis://{REDIS_HOST}:{REDIS_PORT}/0"
    imports = (
        "superset.sql_lab",
        "superset.tasks.scheduler",
    )
    result_backend = f"redis://{REDIS_HOST}:{REDIS_PORT}/0"
    worker_prefetch_multiplier = 10
    task_acks_late = True
    task_annotations = {
        "sql_lab.get_sql_results": {
            "rate_limit": "100/s",
        },
    }
    beat_schedule = {
        "reports.scheduler": {
            "task": "reports.scheduler",
            "schedule": crontab(minute="*", hour="*"),
        },
        "reports.prune_log": {
            "task": "reports.prune_log",
            "schedule": crontab(minute=0, hour=0),
        },
    }
CELERY_CONFIG = CeleryConfig

SCREENSHOT_LOCATE_WAIT = 100
SCREENSHOT_LOAD_WAIT = 600

# Slack configuration
SLACK_API_TOKEN = "xoxb-"

# Email configuration
SMTP_HOST = "smtp.sendgrid.net" # change to your host
SMTP_PORT = 2525 # your port, e.g. 587
SMTP_STARTTLS = True
SMTP_SSL_SERVER_AUTH = True # If you're using an SMTP server with a valid certificate
SMTP_SSL = False
SMTP_USER = "your_user" # use the empty string "" if using an unauthenticated SMTP server
SMTP_PASSWORD = "your_password" # use the empty string "" if using an unauthenticated SMTP server
SMTP_MAIL_FROM = "noreply@youremail.com"
EMAIL_REPORTS_SUBJECT_PREFIX = "[Superset] " # optional - overwrites default value in config.py of "[Report] "

# WebDriver configuration
# If you use Firefox or Playwright with Chrome, you can stick with default values
# If you use Chrome and are *not* using Playwright, then add the following WEBDRIVER_TYPE and WEBDRIVER_OPTION_ARGS
WEBDRIVER_TYPE = "chrome"
WEBDRIVER_OPTION_ARGS = [
    "--force-device-scale-factor=2.0",
    "--high-dpi-support=2.0",
    "--headless",
    "--disable-gpu",
    "--disable-dev-shm-usage",
    "--no-sandbox",
    "--disable-setuid-sandbox",
    "--disable-extensions",
]

# This is for internal use, you can keep http
WEBDRIVER_BASEURL = "http://superset:8088" # When running using docker compose use "http://superset_app:8088'
# This is the link sent to the recipient. Change to your domain, e.g. https://superset.mydomain.com
WEBDRIVER_BASEURL_USER_FRIENDLY = "https://:8088"

您还需要指定代表哪个用户名来渲染仪表盘。通常，仪表盘和图表对于未经授权的请求是不可访问的，这就是为什么 worker 需要接管现有用户的凭据才能生成快照。

默认情况下，警报和报告以警报/报告对象的所有者身份执行。要使用固定的用户帐户，只需按如下方式更改配置（此示例中为 admin）

from superset.tasks.types import FixedExecutor

ALERT_REPORTS_EXECUTORS = [FixedExecutor("admin")]

有关其他执行器类型，请参阅代码库中的 ExecutorType。

重要注意事项

  • 注意 Celery 的并发设置（使用 -c 4）。Selenium/webdriver 实例会消耗您服务器上的大量 CPU/内存。
  • 在某些情况下，如果您发现大量泄露的 geckodriver 进程，请尝试使用 celery worker --pool=prefork --max-tasks-per-child=128 ... 运行您的 Celery 进程。
  • 建议为 sql_lab 和 email_reports 任务运行单独的 worker。这可以使用 task_annotations 中的 queue 字段来完成。
  • 如果 Celery worker 无法通过其默认值 http://0.0.0.0:8080/ 访问 Superset，请调整配置中的 WEBDRIVER_BASEURL。

还可以通过配置文件指定每个报告执行之间的最小间隔

# Set a minimum interval threshold between executions (for each Alert/Report)
# Value should be an integer
ALERT_MINIMUM_INTERVAL = int(timedelta(minutes=10).total_seconds())
REPORT_MINIMUM_INTERVAL = int(timedelta(minutes=5).total_seconds())

或者，您可以为 ALERT_MINIMUM_INTERVAL 和/或 REPORT_MINIMUM_INTERVAL 分配一个函数。这对于根据需要动态检索值很有用

def alert_dynamic_minimal_interval(**kwargs) -> int:
    """
    Define logic here to retrieve the value dynamically
    """

ALERT_MINIMUM_INTERVAL = alert_dynamic_minimal_interval

故障排除​

报告无法正常工作的原因有很多。尝试以下步骤检查特定问题。

确认功能标志已启用且您具有足够的权限​

如果您在 Superset UI 的“设置”下拉菜单的管理部分下没有看到“警报和报告”，则需要启用 ALERT_REPORTS 功能标志（参见上文）。启用另一个功能标志并检查它是否生效，以验证您的配置文件是否正在加载。

以管理员用户身份登录以确保您具有足够的权限。

检查您的 Celery worker 日志​

这是关于问题信息的最佳来源。在 Docker Compose 部署中，您可以使用类似 docker logs superset_worker --since 1h 的命令来完成此操作。

检查网络浏览器和 webdriver 安装​

为了截图，worker 使用无头浏览器访问仪表盘或图表，然后截图。如果您能够以 CSV 或文本形式发送图表但无法以 PNG 形式发送，则您的问题可能出在浏览器上。

如果您自己处理无头浏览器的安装，请自行验证以确保无头浏览器在 worker 环境中成功打开。

发送测试电子邮件​

电子邮件服务器连接无效的一个症状是，当报告尝试发送时，您的日志中收到 [Errno 110] Connection timed out 错误。

通过测试确认您的出站电子邮件配置正确。这是一个最简单的测试，适用于在端口 25 上运行的未经身份验证的电子邮件 SMTP 电子邮件服务。例如，如果您通过 SSL 发送，请研究 Superset 的代码库如何发送电子邮件，然后使用这些命令和参数进行测试。

在您的 worker 环境中启动 Python，替换所有示例值，然后运行

import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText

from_email = 'superset_emails@example.com'
to_email = 'your_email@example.com'
msg = MIMEMultipart()
msg['From'] = from_email
msg['To'] = to_email
msg['Subject'] = 'Superset SMTP config test'
message = 'It worked'
msg.attach(MIMEText(message))
mailserver = smtplib.SMTP('smtpmail.example.com', 25)
mailserver.sendmail(from_email, to_email, msg.as_string())
mailserver.quit()

这应该会发送一封电子邮件。

可能的修复

从 worker 浏览您的报告​

worker 可能无法访问报告。它将使用 WEBDRIVER_BASEURL 的值来浏览报告。如果该路由无效，或者出现 worker 无法通过的身份验证挑战，则报告截图将失败。

通过尝试 curl 您在 worker 错误日志中看到的报告 URL 来检查此问题。例如，从 worker 环境中运行 curl http://superset_app:8088/superset/dashboard/1/。您可能会根据仪表盘是否存在而得到不同的响应——例如，您可能需要更改该 URL 中的 1。如果您的日志中有一个来自失败报告截图的 URL，那么这是一个很好的起点。目标是确定 WEBDRIVER_BASEURL 的有效值，并确定 HTTPS 或身份验证等问题是否正在重定向您的 worker。

在启用了 HTTPS 和单点登录等身份验证措施的部署中，让 worker 直接导航到在同一位置运行的 Superset 应用程序可能更合理，从而避免登录的需要。例如，您可以为 Docker Compose 部署使用 WEBDRIVER_BASEURL="http://superset_app:8088"，并在您的 TALISMAN_CONFIG 中设置 "force_https": False,。

重复报告交付​

在某些部署配置中，计划报告可能会在其计划时间前后多次交付。这通常发生在有多个进程负责运行警报和报告计划时（例如，多个调度程序或 Celery beat 实例）。为了避免重复的电子邮件或通知

  • 确保仅配置单个调度程序/beat 进程来触发给定环境的警报和报告。
  • 如果您运行多个 Celery worker，请验证仍然只有一个组件负责调度报告任务（worker 应该执行任务，而不是独立调度任务）。
  • 检查您的部署/编排设置（例如 systemd、Docker 或 Kubernetes），以确保警报和报告调度程序未意外从多个位置启动。

将查询调度为报告​

您可以选择允许用户直接在 SQL Lab 中调度查询。这是通过向保存的查询添加额外的元数据来完成的，然后由外部调度程序（如 Apache Airflow）获取这些元数据。

要允许调度查询，请在您的配置文件中的 SCHEDULED_QUERIES 中添加以下内容

SCHEDULED_QUERIES = {
    # This information is collected when the user clicks "Schedule query",
    # and saved into the `extra` field of saved queries.
    # See: https://github.com/mozilla-services/react-jsonschema-form
    'JSONSCHEMA': {
        'title': 'Schedule',
        'description': (
            'In order to schedule a query, you need to specify when it '
            'should start running, when it should stop running, and how '
            'often it should run. You can also optionally specify '
            'dependencies that should be met before the query is '
            'executed. Please read the documentation for best practices '
            'and more information on how to specify dependencies.'
        ),
        'type': 'object',
        'properties': {
            'output_table': {
                'type': 'string',
                'title': 'Output table name',
            },
            'start_date': {
                'type': 'string',
                'title': 'Start date',
                # date-time is parsed using the chrono library, see
                # https://npmjs.net.cn/package/chrono-node#usage
                'format': 'date-time',
                'default': 'tomorrow at 9am',
            },
            'end_date': {
                'type': 'string',
                'title': 'End date',
                # date-time is parsed using the chrono library, see
                # https://npmjs.net.cn/package/chrono-node#usage
                'format': 'date-time',
                'default': '9am in 30 days',
            },
            'schedule_interval': {
                'type': 'string',
                'title': 'Schedule interval',
            },
            'dependencies': {
                'type': 'array',
                'title': 'Dependencies',
                'items': {
                    'type': 'string',
                },
            },
        },
    },
    'UISCHEMA': {
        'schedule_interval': {
            'ui:placeholder': '@daily, @weekly, etc.',
        },
        'dependencies': {
            'ui:help': (
                'Check the documentation for the correct format when '
                'defining dependencies.'
            ),
        },
    },
    'VALIDATION': [
        # ensure that start_date <= end_date
        {
            'name': 'less_equal',
            'arguments': ['start_date', 'end_date'],
            'message': 'End date cannot be before start date',
            # this is where the error message is shown
            'container': 'end_date',
        },
    ],
    # link to the scheduler; this example links to an Airflow pipeline
    # that uses the query id and the output table as its name
    'linkback': (
        'https://airflow.example.com/admin/airflow/tree?'
        'dag_id=query_${id}_${extra_json.schedule_info.output_table}'
    ),
}

此配置基于 react-jsonschema-form，并将向 SQL Lab 添加一个名为“调度”的菜单项。单击菜单项时，将显示一个模态窗口，用户可以在其中添加调度查询所需的元数据。

然后可以从端点 /api/v1/saved_query/ 检索此信息，并用于调度其 JSON 元数据中包含 schedule_info 的查询。对于 Airflow 以外的调度程序，可以轻松地在上述配置文件中添加其他字段。

编辑此页面
上次更新于，作者：Evan Rusackas