如何在PAI平台跑实验

2024年3月13日 135次阅读 来源: Cynicsss

PAI平台使用教程

  • build image
  • upload & run
  • storage system

build image

首先去官网下载docker windows，如果系统不适配，就用官网的docker tools辅助安装。安装后，右下角任务栏找到小鲸鱼图案，右键点击setting。在左边的栏目里面找到Daemon选项，进去后就会看到我们什么都没有配置，所以按照下面的信息配置docker：

"registry-mirrors":["http://f1361db2.m.daocloud.io"]
"insecure-registries":["192.168.193.253:5000"]

配置好后打开cmd或其他命令行软件，用下面的指令下载基础镜像到本地并运行：

docker pull 192.168.193.253:5000/pytorch:v0.4.0
#此镜像为pytorch0.4版本的基础镜像
docker image ls
#查看目前本地所拥有的镜像
docker container run -ti <Image ID>
#从查看过程中可以得到Image ID，输到对应位置，运行镜像

运行镜像后就进入linux的terminal了，你拥有root权限，可以进行任何操作。在其中配置好你想要的环境
弄完之后输入exit退出
我们运行下面几条指令，把刚刚弄好的镜像上传到服务器：

docker container ls -l
#查看刚刚编辑的镜像，主要记住其container ID
docker container commit <container ID>
#把镜像commit一下，返回一个sha256编码就表示成功了
docker image ls
#查看一下刚刚commit的镜像id 刚刚commit的名字为none，记住其image id
docker image tag <ImageID> <name>:<tag>
#用这个命令给镜像起名字，注意name 和 tag 要起成以下格式：192.168.193.253:5000/zhangyu:0.3 IP必须有，zhangyu那部分填自己的，冒号后面为tag，你可以当作版本号。
docker push <Image 名字>
#上传你的镜像

至此镜像就配置完了，下面就可以上传代码，跑代码了

upload & run

首先在本地python环境安装常瑞师兄编写的pai包，常瑞师兄在github上写的比较详细，具体操作按照上面来，我在这里主要介绍一下configuration中的注意事项，所涉及的都是需要改的，其余可以不予理睬。
jobname：是我们提交任务的名称，同时平台会在root下建立一个此名称的文件夹，运行其中代码。初次我们起名为**_，上传时平台会在_后随即给你添数字，如果你不按照此格式，他会把你起的名称覆盖。
image：填你要使用的镜像名称
gputype：填你要使用的gpu 目前有两种 geforce1080ti geforce2080ti
cpunumber：填你要申请的cpu数量，一般3就足够了
memoryMB：一般4、5g就可
shmMB：影响读数据速度，可以填1024或2048，填多了没用
gpuNumber：这里填你要申请的gpu数量，一般都为1个，如果需要并行跑，可以申请多个
command：/bin/bash /root/mount.sh 这个必输，其余的就填你要运行的指令。

storage system

平台采用挂载的形式，把服务器的部分存储空间挂载到了平台上，挂载过后的位置为：/root/data/
里面存放/root/data/datasets/数据集，/root/data/models/模型库，/root/data/ouputs/存一些代码的输出
我们可以用WinSCP或XTerm连文件系统：
ip为192.168.193.253 用户名为fileserver 密码 123456

    原文作者：Cynicsss
    原文地址: https://segmentfault.com/a/1190000018316988
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞