配置项
初始化配置
proxy agent IP地址
该项为proxy agent的相关配置。内网IP和公网IP分别对应容器实例和用户向proxy服务发起连接的IP地址,因此内网IP地址必须和所有GPU服务器互通,且使用内网IP可以获得更好的网络速度,公网地址为用户访问容器实例(如JupyterLab)的IP地址,如果没有公网IP那么留空,系统将自动使用内网IP(此时用户必须在内网中访问容器实例)。具体值请根据您部署proxy agent时涉及的信息填写。
proxy agent 端口范围
该项为proxy agent的相关配置。不同的容器实例在与proxy建立连接时,会使用到不同的端口,因此需要配置可分配的端口范围。该端口范围中的端口要求proxy agent所在主机无其他服务使用,不会造成冲突,且操作系统进行了端口开放确保端口可用(配置方法参考部署proxy agent小节)。如果您在云上部署的proxy agent服务,那么往往需要开放端口安全组。具体值请根据您部署proxy agent时涉及的信息填写。
使用配置
无卡模式实例数量
当某台GPU主机无空闲GPU时,用户可以将实例以无卡模式(无GPU)开机,临时访问实例中的数据等。无卡模式当前的CPU和内存配置分别为:0.5核心,2GB内存,该配置即将支持可自定义。默认一个用户同时可无卡模式开机的实例数量为1,该配置项即可自定义其他数量的无卡模式开机实例数。默认为1。
允许用户查看主机GPU占用人
开启后,普通用户可以查看主机的GPU占用用户是谁(会显示用户名)。默认开启。
允许用户自行添加外部镜像
开启后,用户可以自行添加外部镜像作为自定义镜像使用。默认开启。
检测GPU低使用率自动关机
开启后可设置时长阈值,如果检测到在该时长范围GPU使用率都为0%,那么判定为低使用率并自动关机实例。如果在检测过程中因为GPU异常无法获取到使用率,则会忽略。
允许用proxy agent暴露端口
和直接映射主机端口方式相对应,通过proxy agent暴露端口提供了另外一种选择,更简单但是性能不如映射端口。
用户总实例数量
限制用户的实例数量
用户同时可占用GPU数量
限制用户可同时使用的GPU数量
无卡模式算力配置
设置无卡模式(即无GPU的情况下开机)时,可使用的CPU和内存配额
网络文件存储
默认为关闭状态。在AutoDL私有云中使用网络文件存储的逻辑介绍:
由于不同类型的网络文件存储系统在Linux上的挂载方式存在不同,但挂载后使用接口相同。因此为了实现不同类型存储的统一,在AutoDL私有云中使用网络文件存储,需要您将网络存储提前挂载于每台GPU机器的某个目录(需保持在所有机器上挂载于同一目录,且将该目录路径配置于 根目录路径
字段中)。然后用户在GPU主机上创建实例时,会在网络文件存储目录下创建一个与用户关联的子目录(该子目录和用户一一对应,如果已存在不会重复创建),最终将该用户子目录挂载于容器实例的/root/autodl-fs
目录。
存储类型
暂时选择不同类型的差异很小,但是最好请根据自己存储的类型选择。今后的quota配额支持会与存储类型紧密相关。
根目录路径
在您将网络文件存储挂载于每台GPU的相同路径后(比如 /nfs ),把该路径/nfs
配置于该字段中。这样系统会在该路径下找到用户的子目录,并挂载于该用户容器实例中的/root/autodl-fs
目录。
如果开启了网络文件存储功能,但是创建实例时,检测到该实例所在主机上不存在设置的根目录路径
时,系统则不会给实例挂载网络文件存储。因此也可以通过该特性做黑名单处理,如个别机器不支持网络文件存储,那么请不要在该机器上创建根目录路径
设置中的路径即可。
如果使用后再次修改该路径会导致已创建和使用该路径的实例,再次开机时无法开机与使用。
用户隔离策略
目前仅支持使用用户的UUID在网络文件存储中创建二级目录,作为该用户的专属存储空间,以此实现不同用户之间对网络文件存储访问的隔离。
注意:由于每台GPU主机上都挂载了网络文件存储的根目录,从宿主机上是可以完全看到所有用户的数据的,因此如果需要非常防范数据越权访问风险时,那么请谨慎开启主机设置中的高级权限:支持自定义挂载。
移除用户不会删除网络文件存储下的用户子目录,如需清理数据需手动删除。
是否支持quota配额
磁盘quota配额可以在机器级别进行配置,编辑主机即可开启并设置。关于quota限制对磁盘本身的要求请参考文档
设置公共数据目录
如果您期望某些公共数据可以让不同的用户在实例中都可以访问,那么可以在您的网络文件存储中创建一个子文件夹(假设文件夹名称为 pub_data
),将需要公共访问的数据存放于该目录下,然后将此字段的值设置为pub_data,这样用户在创建实例时就会将此目录:<根目录路径>/pub_data
挂载于实例的/root/autodl-pub
目录。
请注意,普通用户该目录将会以readonly的方式挂载,即只可以读数据,不能编辑和删除,但是管理员用户将会以可读可写的权限挂载。因此如果需要修改该目录下的数据请使用管理员账号创建的实例进行相应的操作。
镜像仓库配置
三方登录配置
私有云使用了 OAuth 2.0 和 OIDC 协议的授权码模式。
(OIDC 协议是 OAuth 2.0 协议的超集,定义了一些接口 Endpoint、字段等,同时还可以返回 JWT 格式的 ID Token。与第三方登录服务交互的接口、字段是可配置的,所以私有云可同时支持 OAuth 2.0 和 OIDC 协议。)
在使用三方登录时,需要配合独立的域名才可生效,请联系客服开通。
配置字段
-
client_id:私有云在第三方登录服务中的客户端 ID。
-
client_secret:私有云在第三方登录服务中的客户端密钥。
-
scope:第三方登录服务想让用户授权的权限范围,这里只需要用户信息权限即可。
-
authorize_uri:第三方登录服务的授权页面地址。
-
access_token_api:第三方登录服务的获取 access_token 的接口地址。
-
user_api:第三方登录服务的获取用户信息的接口地址。
-
user_unique_id:user_api 接口返回字段中用来表示用户唯一性的字段。
-
fields:其它字段 kv 形式,调用 access_token_api 的时候会传。
下面的字段不做配置,直接约定(用途见登录时序图):
-
state:随机字符串,防止 CSRF 攻击。
-
redirect_uri:用户在第三方登录服务授权成功后跳转的地址。
-
code: 用于后面获取 access_token。
-
access_token:用于后面获取用户信息。
登录时序图: