服务器配置深度学习环境

 

准备材料

Anaconda3-2021.05-Linux-x86_64.sh -- 含python 3.8.8

cuda_11.1.1_455.32.00_linux.run -- CUDA toolkit

cudnn-11.1-linux-x64-v8.0.5.39.tgz -- cuDNN



安装Anaconda

进入安装包所在文件夹，执行: sh Anaconda3-2021.05-Linux-x86_64.sh

按提示安装，确保安装路径开头是/data01/home/用户名/

安装完后会有一些说明，按照说明执行相应命令初始化conda环境即可。

完成后重新登录，执行conda –V可以看到如下结果：


 

最后配置conda源为清华源，这样安装python扩展包速度很快

打开网址：https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

编辑文件：vim ~/.condarc

输入网址中的如下内容，保存：


 

pypi源也配置一下：

pip3 install pip -U

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装PyTorch

登录到工作节点1，执行nvidia-smi，看到cuda版本是11.1：


 

到pytorch官网https://pytorch.org/get-started/locally/，选好配置后复制红框中的命令，并将113改为111，确保版本和cuda版本一致，修改后的命令如下:


 

pip3 install torch==1.10.0+cu111 torchvision==0.11.1+cu111 torchaudio==0.10.0+cu111 -f https://download.pytorch.org/whl/cu111/torch_stable.html

执行该命令会下载2G+的数据，等待安装完成即可。

安装TensorFlow依赖包、TensorFlow

以安装到/data01/home/zhanghuike/nvidia/toolkit为例：

安装cuda toolkit，执行：sh cuda_11.1.1_455.32.00_linux.run --silent --toolkit --toolkitpath=/data01/home/zhanghuike/nvidia/toolkit --defaultroot=/data01/home/zhanghuike/nvidia/toolkit

安装cuDNN：将cudnn-11.1-linux-x64-v8.0.5.39.tgz解压到/data01/home/zhanghuike/nvidia/toolkit即可：

执行 tar -xf cudnn-11.1-linux-x64-v8.0.5.39.tgz -C /data01/home/zhanghuike/nvidia/toolkit/

安装TensorFlow: pip3 install tensorflow

 

注：Tensorflow2.6需要适配cuda11.2 cuDNN 8.1.0

tensordlow官网，可以查看版本依赖表

故此安装安装内容版本可自行更改，或安装之后进行升级更新

配置jupyter notebook

生成配置文件：

jupyter notebook --generate-config

打开配置文件：

vim ~/.jupyter/jupyter_notebook_config.py 修改如下几处：

c.NotebookApp.allow_remote_access = True

c.NotebookApp.ip = '*'

c.NotebookApp.notebook_dir = '/data01/home/zhanghuike/workspace'

c.NotebookApp.port = 45678

c.NotebookApp.quit_button = False

安装jupyter扩展，实现代码自动提示

pip3 install jupyter_contrib_nbextensions

jupyter contrib nbextension install –user

pip3 install --user jupyter_nbextensions_configurator

jupyter nbextensions_configurator enable –user

执行jupyter notebook，启动jupyter，登录jupyter网页端，启用Hinterland扩展


 


 

评论

发表评论

此博客中的热门博文

使用自己的github加速源

  通过在cloudflare上面搭建自己的worker，然后使用自定义域名，就可以通过在gihub的前缀添加自己的域名进行加速，下载速度获得了提升，但是我在服务器上却无法使用，自己本地的电脑可以使用，奇怪。 项目地址： https://github.com/fscarmen2/gh_proxy 视频地址： https://www.youtube.com/watch?v=WMEqRtAvZpo 我的worker本次名称为gitcdn，使用的域名是ijiu.eu.org 前缀加速域名 https://gh.ijiu.eu.org/ 假如要git clone地址是： git clone https://github.com/fscarmen2/gh_proxy 只需在前面加上加速前缀就可以 git clone https://gh.ijiu.eu.org/https://github.com/fscarmen2/gh_proxy 带有git的ui界面的 镜像加速 ： https://gitui.ijiu.eu.org/
Read more »

量化指标计算

✅ 1. 多模态教培资源处理准确率 ≥ 85% 📌 定义： 衡量系统对文本、图像、视频、3D课件等非结构化资源的实体识别、语义标注和粒度化再构建的准确程度。 📈 目的： 确保教培资源经过处理后，信息抽取结果与人工标注一致度高，保证质量。 🧮 公式： 处理准确率 = 正确处理的资源数量 / 总处理资源数量 × 100% 💡 说明： 正确处理的资源数量 ：系统处理结果与人工标注（或标准答案）一致的样本数量。 例如实体识别中，识别出“避雷器”并正确标注为“设备名称”，算1个正确处理。 总处理资源数量 ：参与评估的全部样本数量，包含不同模态。 实际评估可使用 F1-score （精准率+召回率综合指标）进行补充说明，尤其适合文本处理任务。 ✅ 2. 系统处理延时 ≤ 2秒 📌 定义： 衡量系统完成一次教培资源处理任务所需的时间。 📈 目的： 确保系统响应足够快，适用于实时应用场景。 🧮 公式： 处理延时 = T_响应完成 − T_请求提交 💡 说明： T_响应完成 ：系统输出处理结果（如完成视频剪辑、实体识别）的时间戳。 T_请求提交 ：用户或系统发起处理请求的时间戳。 通常采用 平均延时 或 P95延时 （95%任务处理时间不超过该值）来衡量性能。 ✅ 3. 员工学习进度识别准确率 ≥ 85% 📌 定义： 评估系统能否正确判断员工是否完成学习任务、是否达标等。 📈 目的： 确保学习过程监测的智能化和准确性。 🧮 公式： 识别准确率 = 正确识别的学习状态数量 / 总学习状态数量 × 100% 💡 说明： 学习状态 ：如“已完成”、“学习中”、“未完成”或具体行为（如某视频是否观看满80%）。 正确识别指系统输出与事实一致。 可参考 LMS（Learning Management System）日志 + 人工对照表校验。 ✅ 4. 能力差距智能分析误差 ≤ 10% 📌 定义： 衡量系统对员工能力评估结果与人工（专家）评估结果之间的误差。 📈 目的： 验证能力分析的精确度，保障后续培训内容推荐的准确性。 🧮 公式（平均相对误差）： 误差 = (1/N) × ∑(|系统评估值_i − 标准值_i| / 标准值_i) × 100% 💡 说明： 系统评估值_i ：系统对员工第i项能力的评分（如变电检修能力=0.75） 标准值_i ：专家评估或人工打...
Read more »

申请证书

图片
一键申请SSL证书 bash <(curl -fsSL https://raw.githubusercontent.com/slobys/SSL-Renewal/main/acme.sh) ✅ Cloudflare 支持代理的端口列表（截至目前） 🔒 HTTPS（TLS）端口（自动代理） 443 （标准 HTTPS） 2053 2083 2087 2096 8443 增加请求头为域名，server name也使用域名，然后使用公钥和私钥
Read more »

搭建属于自己的vpn节点—科学上网

图片
  搭建属于自己的vpn节点—科学上网 1. 购买海外服务器 目前使用的hostEONS 参考评测： https://www.zhujiceping.com/69704.html 2. 申请自己的域名，可以使用免费域名eu.org 申请参考链接： https://kejilion.blogspot.com/2022/06/euorg.html 申请链接： https://nic.eu.org/arf/en/ 一般来说一两个月可以申请下来 3. 解析域名 使用Cloudflare解析域名 添加记录，名称写www或其他，代理状态先关闭 之后使用ping 域名，查看是否解析成功，如果返回主机的ip代表成功 4. 申请SSL证书（实际上直接使用ip进入x-ui搭建一样可以） 一键申请证书（推荐使用）： git clone https://github.com/slobys/acme.git /tmp/acme && mv /tmp/acme/* /root bash acme_2.0.sh 下面是分步骤 apt update -y       # Debian/Ubuntu 命令 apt install -y curl   # Debian/Ubuntu 命令 apt install -y socat   # Debian/Ubuntu 命令 ​ yum update -y         #CentOS 命令 yum install -y curl     #CentOS 命令 yum install -y socat   #CentOS 命令 ​ curl https://get.acme.sh | sh ~/.acme.sh/acme.sh --register-account -m 128556 @qq.com（红色部分替换成自己的qq邮箱） 开始申请证书 ~/.acme.sh/acme.sh --issue -d www.shanzha.eu.org --standalone   #红色部分替换成自己解析好的域名，注意前后要有空格 安装证书 ~/.acme.sh/acme.sh --i...
Read more »

wsl安装cuda

  你有 两种选择 来解决这个问题： 安装与 PyTorch 兼容的 CUDA 版本（推荐） 重新安装适配 CUDA 12.8 的 PyTorch 方案 1：安装 CUDA 11.6（推荐） 既然 PyTorch 是用 CUDA 11.6 编译的，你可以降级 CUDA 版本以匹配 PyTorch。 1. 卸载当前的 CUDA 首先，卸载 CUDA 12.8： sudo apt remove --purge cuda sudo apt autoremove 然后，删除残留的 CUDA 目录： sudo rm -rf /usr/local/cuda* 2. 安装 CUDA 11.6 使用 NVIDIA 官方仓库安装 CUDA 11.6： wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-11-6-keyring_1.0-1_all.deb sudo dpkg -i cuda-11-6-keyring_1.0-1_all.deb sudo apt update sudo apt install -y cuda-11-6 3. 配置环境变量 export CUDA_HOME = /usr/local/cuda-11.6 export PATH = $CUDA_HOME /bin: $PATH export LD_LIBRARY_PATH = $CUDA_HOME /lib64: $LD_LIBRARY_PATH 让配置永久生效： echo 'export CUDA_HOME=/usr/local/cuda-11.6' >> ~/.bashrc echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc 4. 验证安装 nvcc --version 输出应该包含 release 11.6 。 然后重新...
Read more »

解决v2rayN的延迟是-1的问题

图片
本博客解决为什么v2rayN的延迟是-1的问题。 错误示例： v2rayN的错误如下所示，其中延迟是-1，速度也是-1，或者速度是The operation has timed out。 错误原因 是因为https端口的原因。 如果使用了cloudflare，同时代理状态 已代理，那就是cloudflare的原因，因为免费的cloudflare只支持的HTTPs几个端口是：443,2053,2083,2087,2096,8443。 解决方法 方法一：新建节点的端口就用这个几个：443,2053,2083,2087,2096,8443。使用这几个端口新建节点，都不会有问题。如果在代理的状态下，你新建其他的端口，v2rayN就会出现延迟-1的错误。 创建节点的端口如下图： 方法二：把cloudflare的代理状态关闭，等一会，然后记得ping一下域名，如果返回的是你服务器ip，那说明代理状态关闭了，这个错误也会消失。不过网速可能会受限，有可能延迟很高，网速很慢。 我的建议是代理状态开启，因为网速提升很明显，否则真的可能就是龟速。
Read more »

wsl虚拟机释放文件

  # 彻底关闭 WSL2 虚拟机 wsl --shutdown # 新开一个 Diskpart 窗口 diskpart # 指定 WSL2 虚拟机磁盘镜像文件位置 # 引号内为ext4.vhdx虚拟磁盘位置 select vdisk file="D:\ubantu\wslubuntu2004\ext4.vhdx" select vdisk file="D:\WSL\Docker\wsl\DockerDesktopWSL\disk\DockerDesktopWSL\disk\docker_data.vhdx" # 只读 附加磁盘镜像文件 attach vdisk readonly # 压缩 vhdx 磁盘镜像文件 compact vdisk # 分离 vhdx 磁盘镜像文件 detach vdisk # 退出 exit
Read more »

wsl安装cuda10.2

图片
  设置gcc优先级 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 100 选择gcc版本 sudo update-alternatives --config gcc sudo update-alternatives --config gcc sudo apt-get install build-essential sudo apt-get purge gcc 一、Linux下配置环境变量 在Linux下配置CUDA环境变量，可以通过修改~/.bashrc文件来实现。具体步骤如下： 1、打开终端并进入~目录： cd ~ 2、使用vim或其他文本编辑器修改.bashrc文件： vim .bashrc 3、在文件末尾添加以下语句（假设CUDA在/usr/local/cuda-10.2目录下）： export PATH=$PATH:/usr/local/cuda-10.2/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.2/lib64 4、保存并退出.bashrc文件，执行以下命令使其立即生效： source .bashrc
Read more »

WSL怎么使用本机进行快速克隆github代码

图片
WSL怎么使用本机进行快速克隆github代码 问题来源 使用WSL克隆github的代码网速很慢，无响应，导致项目无法下载，真的愁人。就想到为WSL设置端口上网，是否就会好很多。 ### 设置v2rayN 如果电脑使用的v2rayN的话，点击 设置，打开参数设置（我使用的V6.17版本） 然后找到 允许来自局域网的连接，把这个选项打开 查看监听端口：v2rayN的默认socks端口是10808，http默认端口是10809。 设置这个之后，然后去wsl里面查看能否克隆项目，如果可以，就不用往下看了。 设置wsl 首先查看wsl是否有.zshrc文件： cat ~/.zshrc 如果显示不存在该文件，就创建一个文件，命令如下： touch ~/.zshrc 然后打开.zshrc文件，输入如下内容： 复制该命令打开文件： vim ~/.zshrc 复制如下命令，然后到wsl终端里面，可以直接鼠标右键，默认粘贴。查看你的代理端口号，记得修改第二行的端口号。 export hostip = $(cat /etc/resolv.conf |grep -oP '(?<=nameserver\ ).*') alias setss = 'export all_proxy="socks5://${hostip}:10808";' alias unsetss = 'unset all_proxy' 然后使用source ~/.zshrc命令，重新读取并执行 zsh 配置文件 ~/.zshrc 中的命令 source ~/.zshrc 然后使用setss命令即可设置代理，使得WSL可以联网，使用curl google.com测试，返回如下结果代表可以进行上网。 如果想取消上网，输入unsetss即可。然后使用curl google.com测试，就会返回空的结果。 至此，配置WSL的xx上网，和取消WSL的xx上网都已完成。 关闭wsl，然后再次打开wsl，需要重新设置进行xx上网，使用两条命令即可，记住要逐条执行。 source ~/.zshrc setss 总结 通过本博客可以让WSL联网，然后克隆github的代码的网速也会好很多。 因为有时候连接github非常龟速，时好时坏，网络很不稳定...
Read more »