使用数据库在工作区之间切换-连接

Question

是否可以使用databricks连接来切换工作区？

我目前正在尝试切换：火花.conf.set（“火花.驱动程序.主机”，cluster_config[“主机”））

但这会返回以下错误:< code>AnalysisException:无法修改Spark配置的值:spark.driver.host

Answer 1

可能它没有直接回答你的问题，但是也可以使用Visual Studio Databricks插件，它将使用databricks connect，从那里可以很容易地切换到不同的env。https://marketplace.visualstudio.com/items?itemName = pai qo . data bricks-vs code。

        "databricks.connectionManager": "VSCode Settings",
        "databricks.connections": [
            {
                "apiRootUrl": "https://westeurope.azuredatabricks.net",
                "displayName": "My DEV workspace",
                "localSyncFolder": "c:\\Databricks\\dev",
                "personalAccessToken": "dapi219e30212312311c6721a66ce879e"
            },
            {
                "apiRootUrl": "https://westeurope.azuredatabricks.net",
                "displayName": "My TEST workspace",
                "localSyncFolder": "c:\\Databricks\\test",
                "personalAccessToken": "dapi219e30212312311c672aaaaaaaaaa"
            }
        ],
        ...

Answer 2

匿名用户

我创建了一个简单的python脚本来更改.databricks连接配置文件中的cluster_id。

要执行，请确保您的虚拟env配置了环境变量DATABRICKS_CLUSTER。获取集群ID在官方< code>databricks-connect文档中显示。

设置环境变量：

export DATABRICKS_CLUSTER=your-cluster-id

设置环境变量后，只需使用以下python脚本在激活新虚拟环境时切换集群。

import os
import json

#Get databricks cluster associated with current virtual env
DATABRICKS_CLUSTER = os.getenv('DATABRICKS_CLUSTER')
HOME = os.getenv('HOME')

#Open the databricks-connect config file
with open(f'{HOME}/.databricks-connect', 'r') as j:
    config = json.loads(j.read())

#Update new cluster ID
config['cluster_id'] = DATABRICKS_CLUSTER

#Save the databricks connect config file
with open(f'{HOME}/.databricks-connect', 'w') as outfile:
    json.dump(config, outfile, indent=4)

Answer 3

如果您查看有关设置客户端的文档，那么您将看到有三种方法可以配置Databricks连接：

< li >使用< code > data bricks-connect configure 生成的配置文件-文件名始终为< code>~/。数据块-连接， < li >环境变量- 数据块地址，< code >数据块API令牌，... < li>Spark配置属性-< code > Spark . data bricks . service . address ，< code > Spark . data bricks . service . token ，...但是当使用这种方法时，Spark会话可能已经初始化，所以如果不重新启动Spark，您可能无法进行动态切换。

但是如果您使用不同的DBR版本，那么更改配置属性是不够的，您还需要切换包含相应版本的Databricks Connect分布的Python环境。

对于我自己的工作，我写了遵循Zsh脚本，允许在不同的设置（分片）之间轻松切换 - 它允许一次只使用一个分片。先决条件是：

• Python环境是用名称创建的

pyenv activate field-eng-shard
pip install -U databricks-connect==<DBR-version>

• 数据块连接配置一次，特定集群/分片的配置存储在 ~/.databricks 连接-

function use-shard() {
    SHARD_NAME="$1"
    if [ -z "$SHARD_NAME" ]; then
        echo "Usage: use-shard shard-name"
        return 1
    fi
    if [ ! -L ~/.databricks-connect ] && [ -f ~/.databricks-connect ]; then
        echo "There is ~/.databricks-connect file - possibly you configured another shard"
    elif [ -f ~/.databricks-connect-${SHARD_NAME} ]; then
        rm -f ~/.databricks-connect
        ln -s ~/.databricks-connect-${SHARD_NAME} ~/.databricks-connect
        pyenv deactivate
        pyenv activate ${SHARD_NAME}-shard
    else
        echo "There is no configuration file for shard: ~/.databricks-connect-${SHARD_NAME}"
    fi
}