Переопределение параметров кластера в пакетах ресурсов Databricks

В этой статье описывается переопределение параметров кластеров Azure Databricks в пакетах ресурсов Databricks. См. сведения о пакетах ресурсов Databricks?

В файлах конфигурации пакета Azure Databricks можно присоединить параметры кластера в сопоставлении верхнего уровня resources с параметрами кластера в targets сопоставлении, как показано ниже.

Для заданий используйте job_cluster_key сопоставление в определении задания для объединения параметров кластера в сопоставлении верхнего уровня resources с параметрами кластера в targets сопоставлении, например (многоточия указывают на пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

Если любой параметр кластера определен как в сопоставлении верхнего уровня resources , так и targets в сопоставлении для одного и того же job_cluster_key, то параметр в сопоставлении имеет приоритет над параметром в targets сопоставлении верхнего уровня resources .

Для конвейеров delta Live Tables используйте label сопоставление в cluster определении конвейера для объединения параметров кластера в сопоставлении верхнего уровня resources с параметрами кластера в targets сопоставлении, например (многоточия указывают на пропущенное содержимое для краткости):

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

Если любой параметр кластера определен как в сопоставлении верхнего уровня resources , так и targets в сопоставлении для одного и того же label, то параметр в сопоставлении имеет приоритет над параметром в targets сопоставлении верхнего уровня resources .

Пример 1. Новые параметры кластера заданий, определенные в нескольких сопоставлениях ресурсов и без конфликтов параметров

В этом примере spark_version сопоставление верхнего уровня resources объединяется с node_type_id сопоставлением и num_workers в resources сопоставлении для targets определения параметров job_cluster_key именованного my-cluster (многоточие указывает на пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

При выполнении databricks bundle validate этого примера результирующий граф выглядит следующим образом (многоточие указывает на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

Пример 2. Конфликтующие параметры кластера заданий, определенные в нескольких сопоставлениях ресурсов

В этом примере и num_workers определяются как в сопоставлении верхнего уровняresources, spark_versionтак и в сопоставленииtargetsresources. В этом примере и spark_versionnum_workers в resources сопоставлении targets имеют приоритет над spark_version и num_workers в сопоставлении верхнего уровня resources , чтобы определить параметры именованного job_cluster_keymy-cluster (многоточие означает пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

При выполнении databricks bundle validate этого примера результирующий граф выглядит следующим образом (многоточие указывает на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

Пример 3. Параметры кластера конвейера, определенные в нескольких сопоставлениях ресурсов и без конфликтов параметров

В этом примере node_type_id сопоставление верхнего уровня resources объединяется с resourcesnum_workers сопоставлением в targets определении параметров label именованного default (многоточие указывает на пропущенное содержимое для краткости):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

При выполнении databricks bundle validate этого примера результирующий граф выглядит следующим образом (многоточие указывает на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

Пример 4. Конфликтующие параметры кластера конвейера, определенные в нескольких сопоставлениях ресурсов

В этом примере определяется как в сопоставлении верхнего уровняresources, num_workers так и в сопоставленииresources.targets num_workersresources в сопоставлении имеет приоритет num_workers в сопоставлении targets верхнего уровняresources, чтобы определить параметры именованного labeldefault (многоточие указывает пропущенное содержимое для краткости):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

При выполнении databricks bundle validate этого примера результирующий граф выглядит следующим образом (многоточие указывает на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}