python代码优化，使用set操作替换list，优化查找

使用set操作替换list，优化查找效率

使用 set 和 list 进行查找操作的效率是不同的。具体来说：

  • 列表 (list) 中的查找操作是线性的，时间复杂度为 𝑂(𝑛)。这意味着在列表中查找一个元素的时间会随着列表大小的增加而增加。

  • 集合 (set) 中的查找操作是基于哈希表的，时间复杂度为 𝑂(1)。这意味着在集合中查找一个元素的时间不会随着集合大小的增加而显著增加。

优化后的代码

通过将 exist_list 转换为 exist_set，你将查找操作的时间复杂度从 𝑂(𝑛)O(n) 降低到了 𝑂(1)O(1)。这样即使文件数量很多，查找的时间也几乎不会增加。

# 原代码（查找效率低）
exist_list = os.listdir('')
​
# 优化后的代码（查找效率高）
exist_list = os.listdir('')
exist_set = set(exist_list)

data_root = "/mnt/g/Zhang_pufen/raw/raw_frames"
exist_list = os.listdir('/mnt/g/Zhang_pufen/py/avqa_object_feat/')
exist_set = set(exist_list)  # 使用集合来提高查找效率
​
file_list = os.listdir(data_root)
​
# 过滤掉已经存在特征文件的视频
filtered_file_list = [file for file in file_list if (file + '.npy') not in exist_set]
for file_name in filtered_file_list:


评论

发表评论

此博客中的热门博文

使用自己的github加速源

  通过在cloudflare上面搭建自己的worker，然后使用自定义域名，就可以通过在gihub的前缀添加自己的域名进行加速，下载速度获得了提升，但是我在服务器上却无法使用，自己本地的电脑可以使用，奇怪。 项目地址： https://github.com/fscarmen2/gh_proxy 视频地址： https://www.youtube.com/watch?v=WMEqRtAvZpo 我的worker本次名称为gitcdn，使用的域名是ijiu.eu.org 前缀加速域名 https://gh.ijiu.eu.org/ 假如要git clone地址是： git clone https://github.com/fscarmen2/gh_proxy 只需在前面加上加速前缀就可以 git clone https://gh.ijiu.eu.org/https://github.com/fscarmen2/gh_proxy 带有git的ui界面的 镜像加速 ： https://gitui.ijiu.eu.org/
Read more »

量化指标计算

✅ 1. 多模态教培资源处理准确率 ≥ 85% 📌 定义： 衡量系统对文本、图像、视频、3D课件等非结构化资源的实体识别、语义标注和粒度化再构建的准确程度。 📈 目的： 确保教培资源经过处理后，信息抽取结果与人工标注一致度高，保证质量。 🧮 公式： 处理准确率 = 正确处理的资源数量 / 总处理资源数量 × 100% 💡 说明： 正确处理的资源数量 ：系统处理结果与人工标注（或标准答案）一致的样本数量。 例如实体识别中，识别出“避雷器”并正确标注为“设备名称”，算1个正确处理。 总处理资源数量 ：参与评估的全部样本数量，包含不同模态。 实际评估可使用 F1-score （精准率+召回率综合指标）进行补充说明，尤其适合文本处理任务。 ✅ 2. 系统处理延时 ≤ 2秒 📌 定义： 衡量系统完成一次教培资源处理任务所需的时间。 📈 目的： 确保系统响应足够快，适用于实时应用场景。 🧮 公式： 处理延时 = T_响应完成 − T_请求提交 💡 说明： T_响应完成 ：系统输出处理结果（如完成视频剪辑、实体识别）的时间戳。 T_请求提交 ：用户或系统发起处理请求的时间戳。 通常采用 平均延时 或 P95延时 （95%任务处理时间不超过该值）来衡量性能。 ✅ 3. 员工学习进度识别准确率 ≥ 85% 📌 定义： 评估系统能否正确判断员工是否完成学习任务、是否达标等。 📈 目的： 确保学习过程监测的智能化和准确性。 🧮 公式： 识别准确率 = 正确识别的学习状态数量 / 总学习状态数量 × 100% 💡 说明： 学习状态 ：如“已完成”、“学习中”、“未完成”或具体行为（如某视频是否观看满80%）。 正确识别指系统输出与事实一致。 可参考 LMS（Learning Management System）日志 + 人工对照表校验。 ✅ 4. 能力差距智能分析误差 ≤ 10% 📌 定义： 衡量系统对员工能力评估结果与人工（专家）评估结果之间的误差。 📈 目的： 验证能力分析的精确度，保障后续培训内容推荐的准确性。 🧮 公式（平均相对误差）： 误差 = (1/N) × ∑(|系统评估值_i − 标准值_i| / 标准值_i) × 100% 💡 说明： 系统评估值_i ：系统对员工第i项能力的评分（如变电检修能力=0.75） 标准值_i ：专家评估或人工打...
Read more »

申请证书

图片
一键申请SSL证书 bash <(curl -fsSL https://raw.githubusercontent.com/slobys/SSL-Renewal/main/acme.sh) ✅ Cloudflare 支持代理的端口列表（截至目前） 🔒 HTTPS（TLS）端口（自动代理） 443 （标准 HTTPS） 2053 2083 2087 2096 8443 增加请求头为域名，server name也使用域名，然后使用公钥和私钥
Read more »

搭建属于自己的vpn节点—科学上网

图片
  搭建属于自己的vpn节点—科学上网 1. 购买海外服务器 目前使用的hostEONS 参考评测： https://www.zhujiceping.com/69704.html 2. 申请自己的域名，可以使用免费域名eu.org 申请参考链接： https://kejilion.blogspot.com/2022/06/euorg.html 申请链接： https://nic.eu.org/arf/en/ 一般来说一两个月可以申请下来 3. 解析域名 使用Cloudflare解析域名 添加记录，名称写www或其他，代理状态先关闭 之后使用ping 域名，查看是否解析成功，如果返回主机的ip代表成功 4. 申请SSL证书（实际上直接使用ip进入x-ui搭建一样可以） 一键申请证书（推荐使用）： git clone https://github.com/slobys/acme.git /tmp/acme && mv /tmp/acme/* /root bash acme_2.0.sh 下面是分步骤 apt update -y       # Debian/Ubuntu 命令 apt install -y curl   # Debian/Ubuntu 命令 apt install -y socat   # Debian/Ubuntu 命令 ​ yum update -y         #CentOS 命令 yum install -y curl     #CentOS 命令 yum install -y socat   #CentOS 命令 ​ curl https://get.acme.sh | sh ~/.acme.sh/acme.sh --register-account -m 128556 @qq.com（红色部分替换成自己的qq邮箱） 开始申请证书 ~/.acme.sh/acme.sh --issue -d www.shanzha.eu.org --standalone   #红色部分替换成自己解析好的域名，注意前后要有空格 安装证书 ~/.acme.sh/acme.sh --i...
Read more »

wsl安装cuda

  你有 两种选择 来解决这个问题： 安装与 PyTorch 兼容的 CUDA 版本（推荐） 重新安装适配 CUDA 12.8 的 PyTorch 方案 1：安装 CUDA 11.6（推荐） 既然 PyTorch 是用 CUDA 11.6 编译的，你可以降级 CUDA 版本以匹配 PyTorch。 1. 卸载当前的 CUDA 首先，卸载 CUDA 12.8： sudo apt remove --purge cuda sudo apt autoremove 然后，删除残留的 CUDA 目录： sudo rm -rf /usr/local/cuda* 2. 安装 CUDA 11.6 使用 NVIDIA 官方仓库安装 CUDA 11.6： wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-11-6-keyring_1.0-1_all.deb sudo dpkg -i cuda-11-6-keyring_1.0-1_all.deb sudo apt update sudo apt install -y cuda-11-6 3. 配置环境变量 export CUDA_HOME = /usr/local/cuda-11.6 export PATH = $CUDA_HOME /bin: $PATH export LD_LIBRARY_PATH = $CUDA_HOME /lib64: $LD_LIBRARY_PATH 让配置永久生效： echo 'export CUDA_HOME=/usr/local/cuda-11.6' >> ~/.bashrc echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc 4. 验证安装 nvcc --version 输出应该包含 release 11.6 。 然后重新...
Read more »

解决v2rayN的延迟是-1的问题

图片
本博客解决为什么v2rayN的延迟是-1的问题。 错误示例： v2rayN的错误如下所示，其中延迟是-1，速度也是-1，或者速度是The operation has timed out。 错误原因 是因为https端口的原因。 如果使用了cloudflare，同时代理状态 已代理，那就是cloudflare的原因，因为免费的cloudflare只支持的HTTPs几个端口是：443,2053,2083,2087,2096,8443。 解决方法 方法一：新建节点的端口就用这个几个：443,2053,2083,2087,2096,8443。使用这几个端口新建节点，都不会有问题。如果在代理的状态下，你新建其他的端口，v2rayN就会出现延迟-1的错误。 创建节点的端口如下图： 方法二：把cloudflare的代理状态关闭，等一会，然后记得ping一下域名，如果返回的是你服务器ip，那说明代理状态关闭了，这个错误也会消失。不过网速可能会受限，有可能延迟很高，网速很慢。 我的建议是代理状态开启，因为网速提升很明显，否则真的可能就是龟速。
Read more »

wsl虚拟机释放文件

  # 彻底关闭 WSL2 虚拟机 wsl --shutdown # 新开一个 Diskpart 窗口 diskpart # 指定 WSL2 虚拟机磁盘镜像文件位置 # 引号内为ext4.vhdx虚拟磁盘位置 select vdisk file="D:\ubantu\wslubuntu2004\ext4.vhdx" select vdisk file="D:\WSL\Docker\wsl\DockerDesktopWSL\disk\DockerDesktopWSL\disk\docker_data.vhdx" # 只读 附加磁盘镜像文件 attach vdisk readonly # 压缩 vhdx 磁盘镜像文件 compact vdisk # 分离 vhdx 磁盘镜像文件 detach vdisk # 退出 exit
Read more »

wsl安装cuda10.2

图片
  设置gcc优先级 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 100 选择gcc版本 sudo update-alternatives --config gcc sudo update-alternatives --config gcc sudo apt-get install build-essential sudo apt-get purge gcc 一、Linux下配置环境变量 在Linux下配置CUDA环境变量，可以通过修改~/.bashrc文件来实现。具体步骤如下： 1、打开终端并进入~目录： cd ~ 2、使用vim或其他文本编辑器修改.bashrc文件： vim .bashrc 3、在文件末尾添加以下语句（假设CUDA在/usr/local/cuda-10.2目录下）： export PATH=$PATH:/usr/local/cuda-10.2/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.2/lib64 4、保存并退出.bashrc文件，执行以下命令使其立即生效： source .bashrc
Read more »

WSL怎么使用本机进行快速克隆github代码

图片
WSL怎么使用本机进行快速克隆github代码 问题来源 使用WSL克隆github的代码网速很慢，无响应，导致项目无法下载，真的愁人。就想到为WSL设置端口上网，是否就会好很多。 ### 设置v2rayN 如果电脑使用的v2rayN的话，点击 设置，打开参数设置（我使用的V6.17版本） 然后找到 允许来自局域网的连接，把这个选项打开 查看监听端口：v2rayN的默认socks端口是10808，http默认端口是10809。 设置这个之后，然后去wsl里面查看能否克隆项目，如果可以，就不用往下看了。 设置wsl 首先查看wsl是否有.zshrc文件： cat ~/.zshrc 如果显示不存在该文件，就创建一个文件，命令如下： touch ~/.zshrc 然后打开.zshrc文件，输入如下内容： 复制该命令打开文件： vim ~/.zshrc 复制如下命令，然后到wsl终端里面，可以直接鼠标右键，默认粘贴。查看你的代理端口号，记得修改第二行的端口号。 export hostip = $(cat /etc/resolv.conf |grep -oP '(?<=nameserver\ ).*') alias setss = 'export all_proxy="socks5://${hostip}:10808";' alias unsetss = 'unset all_proxy' 然后使用source ~/.zshrc命令，重新读取并执行 zsh 配置文件 ~/.zshrc 中的命令 source ~/.zshrc 然后使用setss命令即可设置代理，使得WSL可以联网，使用curl google.com测试，返回如下结果代表可以进行上网。 如果想取消上网，输入unsetss即可。然后使用curl google.com测试，就会返回空的结果。 至此，配置WSL的xx上网，和取消WSL的xx上网都已完成。 关闭wsl，然后再次打开wsl，需要重新设置进行xx上网，使用两条命令即可，记住要逐条执行。 source ~/.zshrc setss 总结 通过本博客可以让WSL联网，然后克隆github的代码的网速也会好很多。 因为有时候连接github非常龟速，时好时坏，网络很不稳定...
Read more »