Azure批处理池：如何通过Python使用自定义VM映像？

2023年3月10日 225次阅读

我想用
Python创建我的池.我可以在使用市场上的图像(Ubuntu Server 16.04)时执行此操作,但我想使用自定义映像(还有Ubuntu Server 16.04) – 我已经准备好了所需的库和设置.

这就是我创建池的方式：

new_pool = batch.models.PoolAddParameter(
      id=pool_id,
      virtual_machine_configuration=batchmodels.VirtualMachineConfiguration(
          image_reference=image_ref_to_use, # ??
          node_agent_sku_id=sku_to_use),
      vm_size=_POOL_VM_SIZE,
      target_dedicated_nodes=_POOL_NODE_COUNT,
      start_task=start_task,
      max_tasks_per_node=_CORES_PER_NODE
)

我成像,我需要使用batch.models.ImageReference()来创建我的图像引用…但我不知道如何使用它.

是的,我检查了documentation,其中说明如下：

A reference to an Azure Virtual Machines Marketplace image or a custom
Azure Virtual Machine image.

它将参数列为：

>出版商(str)
>报价(str)
> sku(str)
>版本(str)
> virtual_machine_image_id(str)

但是,参数virtual_machine_image_id不存在…换句话说,不允许batch.models.ImageReference(virtual_machine_image_id).

如何为我的池使用自定义图像？

UPDATE

所以我想出了如何使用自定义图像…事实证明,无论我卸载azure python库并重新安装它们多少次,virtual_machine_image_id永远不可用.

然后我去了here下载了拉链.打开它,检查ImageReference类并且看得很清楚,virtual_machine_image_id在ImageReference类的__init__函数中可用.然后我下载了python wheel并使用pip来安装它.它起作用了.

或者我想.

然后我不得不打架,虽然试图弄清楚node_agent_sku_id是什么……只能通过手动创建一个池并看到批处理节点代理SKU ID字段,我设法找到它.

现在我正在努力进行身份验证……

我得到的错误是：

Server failed to authenticate the request. Make sure the value of
Authorization header is formed correctly including the signature.

AuthenticationErrorDetail: The specified type of authentication
SharedKey is not allowed when external resources of type Compute are
linked.

azure.batch.models.batch_error.BatchErrorException: {‘lang’:
‘en-US’, ‘value’: ‘Server failed to authenticate the request. Make
sure the value of Authorization header is formed correctly including
the
signature.\nRequestId:f8c1a3b3-65c4-4efd-9c4f-75c5c253f992\nTime:2017-10-15T20:36:06.7898187Z’}

从错误中,我了解到我不允许使用SharedKeyCredentials：

credentials = batchauth.SharedKeyCredentials(_BATCH_ACCOUNT_NAME,
                                             _BATCH_ACCOUNT_KEY)

batch_client = batch.BatchServiceClient(
    credentials,
    base_url=_BATCH_ACCOUNT_URL)

我必须做什么？

更新2

好.用户fpark通知我,我需要使用：

from azure.batch import BatchServiceClient
from azure.common.credentials import ServicePrincipalCredentials

credentials = ServicePrincipalCredentials(
    client_id=CLIENT_ID,
    secret=SECRET,
    tenant=TENANT_ID,
    resource="https://batch.core.windows.net/"
)
    batch_client = BatchServiceClient(
    credentials,
    base_url=BATCH_ACCOUNT_URL
)

进行身份验证.不幸的是,上面的代码在here中描述,并没有提到CLIENT_ID等.是的.

然后,我设法找到另一份文件似乎是同一件事：https://azure-sdk-for-python.readthedocs.io/en/v2.0.0rc3/resourcemanagementauthentication.html

该页面指向另一个网页：https://docs.microsoft.com/en-us/azure/azure-resource-manager/resource-group-create-service-principal-portal

我按照那个教程设法最终验证了我的应用程序…

注意

在创建应用程序时,本教程将告诉您：

Provide a name and URL for the application. Select either Web app /
API or Native for the type of application you want to create. After
setting the values, select Create.

不要选择Native,因为您将无法获得应用程序密钥…

最佳答案 必需的最小Azure批处理SDK

需要azure-batch Python SDK v4.0.0或更高版本.通常使用pip install –upgrade azure-batch,您应该获得最新版本.如果这不起作用,您可以添加–force-reinstall选项以pip强制它(使用–upgrade).

节点代理Sku Id

关于node_agent_sku_id的正确值,您需要使用list_node_agent_skus操作来查看操作系统与支持的节点代理程序skus之间的映射.

需要Azure Active Directory身份验证

关于身份验证问题,您必须使用Azure Active Directory authentication才能使用此功能.它不适用于共享密钥身份验证.

文档

可在this guide中找到更多信息,包括启用自定义映像所需的所有先决条件.

点赞