考虑到车辆重识别模型需要借助tensorflow以及pytorch等深度学习框架来进行训练,所以我们计划先在本机上配置好深度学习的环境来帮助我们学习一些基础知识,这里的内容主要是针对windows平台下深度学习环境的配置,且电脑带有nvidia系列的GPU,如果是CPU版本的则可以忽略前面的显卡环境配置等操作。

安装显卡驱动

显卡驱动能否成功安装直接决定后续的程序能否直接运行在GPU上,下载地址如下:

https://www.nvidia.cn/Download/index.aspx?lang=cn

首先从nvida官网中下载对应你显卡型号的显卡驱动,以我的电脑为例,我的显卡为nvidia-950m。

搜索相应的驱动并进行下载,下载好驱动程序之后直接双击运行,默认安装程序给出的安装路径即可,不断点下一步进行安装直到安装完成。

驱动程序安装完成之后重启电脑, win+R 在cmd窗口中输入以下 nvidia-smi 如果能正确输出显卡信息则表示驱动安装成功,如下图所示我输出结果。

安装Anaconda并配置国内的源

注:在很多的教程中会教给大家配置cuda和cudnn,因为我们主要是通过python来完成程序的开发,通过conda就可以管理虚拟环境,所以这里不需要进行cuda和cudnn的配置,除非你要在本机编译darknet之类的才需要进行cuda的配置。

驱动安装完成之后我们的环境配置基本成功了一半,剩下的步骤就相对比较简单了。

  1. 下载anaconda

    下载地址: https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

    这里推荐安装miniconda,miniconda是anaconda一个轻量级的代替,里面仅包含python和conda,对于我们程序员来说足够使用,比如这里我们首先安装时间排序然后选择版本较新的版本来进行安装。

    image-20200802210840243

  2. 安装anaconda

    下载完成之后双击安装即可,但是有三个地方需要注意。

    选择全部用户

    image-20200802211101544

    选择空间比较大的盘符

    image-20200802211130417

    选择将conda添加到环境变量中

    image-20200802211215572

  3. 配置国内的源

    后续使用conda基本是在命令行中进行,可以在cmd中输入 conda 来检查你的电脑是否已经安装好conda,如果能正常输出信息则表示conda已经安装成功。

    为了能够下载包的时候没有那么费劲,这里我们要配置国内的源,在命令行中输入下列命令即可完成配置,#部分是我写的注释。

    # 第一步:配置conda的源
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes
    # 第二步 配置pip的源
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
    

    之后就可以起飞了!

安装GPU版本的tensorflow

首先创建并激活虚拟环境,在cmd中输入下列命令,其中 tf2.0-gpu 是你的环境名称。

conda create -n tf2.0-gpu python==3.7.3
conda activate tf2.0-gpu

直接执行下列命令进行安装即可,注意一定要使用conda install而不是pip install

conda install tensorflow-gpu==2.0.0

等待一会,安装完毕之后我们来测试一下吧。

python
import tensorflow as tf
print(tf.test.is_gpu_available())

如果输出为True则表示GPU版本的tensorflow安装成功,附上成功截图一张。

安装GPU版本的Pytorch

首先创建并激活虚拟环境,在cmd中输入下列命令,其中torch1.5是你的环境名称。

conda create -n torch1.5 python==3.7.3
conda activate torch1.5

直接执行下列命令进行安装即可,注意一定要使用conda install而不是pip install

conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

等待一会,安装完毕之后我们来测试一下吧。

python
import torch
print(torch.cuda.is_available())

如果输出为True则表示GPU版本的pytorch安装成功,附上成功截图一张。

在pycharm中使用虚拟环境

pycharm有代码提示的功能,可以方便开发,下载地址如下,这里下载社区版的即可,直接下一步安装即可。

下载地址:https://www.jetbrains.com/pycharm/download/#section=windows

首先通过pycharm新建项目,可以在新建项目的时候就选择python解释器,也可以先随便选择一个新建,后面再进行更改。

点击interpreter右侧的…弹出虚拟环境选择的界面,如下图所示,红框圈到的位置是你本机conda安装位置的envs目录,envs中存放了你的所有虚拟环境,这里我们选择刚才在命令行下创建的torch1.5的python.exe作为该项目的解释器。

点击ok之后直接创建新项目即可

程序的下方表示正在索引,等待索引完成之后即可开始进行开发,另外程序的右下方表示你当前的环境,你也可以点击圆框的位置来进行添加新的虚拟环境或者是切换虚拟环境。

现在通过pycharm编写代码来测试一下torch能否使用GPU吧。

以上就是全部的安装教程了,下一期一起来说下深度学习入门教程,mnist手写字体识别的训练、测试和使用。

通过在 Tensorflow 2 和 Pytorch 中使用近端策略优化和随机网络蒸馏来演示深度强化学习的简单代码 版本 2 和其他进展 版本 2 将带来代码质量和性能的改进。 我重构了代码,以便它遵循 OpenAI 基线上 PPO 实现中的算法。 我还使用了称为 Truly PPO 的更新版本的 PPO,它比 OpenAI 的 PPO 具有更高的样本效率和性能。 目前,我专注于如何在更困难的环境(Atari 游戏、MuJoCo 等)中实施这个项目。 使用 Pytorch 和 Tensorflow 2 使用真正的 PPO 添加更复杂的环境 添加更多说明 该项目使用 Pytorch 和 Tensorflow 2 作为深度学习框架,使用 Gym 作为强化学习环境。 虽然不是必需的,但我建议在具有 GPU 和 8 GB 内存的 PC 上运行此项目 通用深度学习推理服务 可在生产环境中快速上线由TensorFlow,PyTorch,Caffe框架训练出的深度学习模型。 dl_inference是58同城推出的通用深度学习推理服务,使用dl_inference只需将模型文件放在指定目录然后启动服务就可以进行推理请求调用。dl_inference当前支持TensorFlow,PyTorch和Caffe模型,提供GPU和CPU两种布置方式,并且实现了模型多例程部署时的负载均衡策略,支持线上海量推理请求。 dl_inference具备的功能如下: 简化深度学习模型在生产环境上的推理服务部署,只需重新将模型文件放入指定目录。 支持模型多预算部署并实现负载均衡。 提供统一的RPC服务调用接口。 提供GPU和CPU两种部署方式。 PyTorch / Caffe模型支持推理前后数据处理,开放模型调用。 为什么需要dl_inference AWS深度学习容器 AWS 是一组Docker映像,用于在TensorFlow,TensorFlow 2,PyTorch和MXNet中训练和提供模型。 深度学习容器使用TensorFlow和MXNet,Nvidia CUDA(用于GPU实例)和英特尔MKL(用于CPU实例)库提供优化的环境,可在Amazon Elastic Container Registry(Amazon ECR)中使用。 AWS DLC在Amazon SageMaker中用作您SageMaker作业(例如培训,推理,转换等)的默认工具。它们也已针对Amazon EC2,Amazon ECS和Amazon EKS服务上的机器学习工作负载进行了测试。 有关可用DLC图像的列表,请参阅。 您可以在找到有关Sagemaker中可用图像的更多信息。 该项目已获得Apache-2.0许可证的许可。 根据发布了smdistributed.dataparallel和smdistributed.modelparallel 。 我们在此介绍在Amazon SageMaker,EC2,ECS和EKS平台上构建和测 cuDNN是基于CUDA的深度学习GPU加速库,有了它才能在GPU上完成深度学习的计算。向下兼容指是显卡驱动向下兼容CUDA,在电脑上看到显卡驱动最高支持的CUDA是10.1 版本,那你安装9.2版本的CUDA也行,不超过10.1就行。有的教程说要安装,有的教程不用安装,实际上不用单独安装,直接在conda安装gpu版本的pytorch的时候,就可以直接把CUDA安装上了。2 安装CUDA(没有才安装,有的话就不用安装了,安装的时候有两种方式,选择和pytorch一起安装的方式,不要自己独自安装) 在进行AI项目开发的时候,经常要在GPU环境中运行代码,对于没有配置过的新人来说,还是有点复杂的,本文简单总结在Winddows环境配置的全过程,适合新手入门,仅供大家参考。 最近需要学习pytorch的东西,进一步开发需要的神经网络模型,在此以这一篇博文作为安装笔记。 pytorch 官网上只有linux和Mac的程序包,没有windows系统的,但是windows系统还是可以用pytorch的。 github: https://github.com/peterjc123/pytorch-scripts 如果之前安装过GPU版的tensorflow,安装GPU版本的p... 由于GPU内部结构的限制,使得它比较适合进行高速的并行运算,而并不适合进行快速的指令控制,而且许多的数据需要在GPU和CPU之间进行存取,这就需要用到CPU,因为这是它的强项。常用的方案是“选择一个较大的内存,每次从硬盘中读取几个batch的数据存放在内存中,然后进行数据处理”,这样可以保证数据不间断的传输,从而高效的完成数据处理的任务。有论文研究,太高的精度对于深度学习的错误率是没有提升的,而且大部分的环境框架都只支持单精度,所以双精度浮点计算是不必要,Tesla系列都去掉了。 可以看到本机的CUDA版本11.2.162 二、下载CUDA 进入CUDA下载的官方网址下载与电脑版本相对应的CUDA版本,本机CUDA是11.2.162,我下载的是CUDA Tookit 11.2.1 三、下载CUDNN 进入CUDNN的官方下载链接 选择跟CUDA版本匹配的CUDNN,我们这里选择匹配版本为C 在anaconda网站下载anaconda的windows版本,点击下图红色箭头处进行下载 使用上面的网址如果下载速度比较慢,可以通过清华源的镜像进行下载,进入网页后下拉选择最新的版本,点击红色箭头处的链接进行下载。 软件的安装比较简单,就和一般的windows软件一样。 2.ANACONDA精简教程 选择下图中红线处的任一图标,打开anaconda的命令行。 下面... 之前在学校一直用的Ubuntu来配置深度学习环境,这次尝试了一下在windows下用Anaconda来配置。 笔记本型号是惠普暗影精灵3,显卡1050TI,没有提前安装python、CUDA、CUDNN等,所有的库全部由Anaconda来安装,笔者比较强迫症,不喜欢在电脑上装得乱七八糟,用Anaconda管理是真滴舒服。 一.Anaconda安装 这一步网上已经有很多教程,下载...