博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Caffe + Ubuntu 14.04 64bit + CUDA 6.5 配置说明
阅读量:7010 次
发布时间:2019-06-28

本文共 7020 字,大约阅读时间需要 23 分钟。

笔者花了很长时间才装完,主要是cuda安装和opencv安装比较费劲,cuda找不到32位的安装包只好重装64位的ubuntu系统,opencv 也是尝试了很久才解决,这里建议用2.4.9版本。其实如果没用GPU的话不需要安装cuda,不过为了后续兼容性的考虑,系统强烈建议64位的。下面是 对自己的安装过程记录备忘,有些主要参考网上的文章,所以有些过程就直接用了原来文章中的内容。

caffe在git上的源码:https://github.com/BVLC/caffe
环境:
    ubuntu 14.04 64位
    无GPU
准备工作:
*首先验证你是否有nvidia的显卡(http://developer.nvidia.com/cuda-gpus这个网站查看你是否有支持gpu的显卡):
$ lspci | grep -i nvidia  
*查看linux发行版本
uname -m && cat /etc/*release
看第一行
*看gcc版本
$ gcc --version
Step1、安装cuda(无GPU安装可以直接跳过这一步,所以这里直接跳过。要说明的是cuda 32位尚未找到合适的安装包,所以这里的linux要64位的)
*在cuda官网(https://developer.nvidia.com/cuda-downloads#linux)下载对应版本.
*下载完成之后可以使用如下命令安装它,注意文件名修改为cuda-repo-ubuntu1404_6.5-14_amd64.deb
$ sudo dpkg -i cuda-repo-<distro>_<version>_<architecture>.deb
(或者在图形界面下直接双击下载的deb文件)
Network Install和Local Install的区别:一个是文件小,在线更新;一个是文件大,可以离线安装。
(Q: What is the difference between the Network Installer and the Local Installer?
A: The Local Installer has all of the components embedded into it (toolkit, driver, samples). This makes the installer very large, but once downloaded, it can be installed without an internet connection. The Network Installer is a small executable that will only download the necessary components dynamically during the installation so an internet connection is required.)
安装好仓库文件后,更新本地仓库:
$ sudo apt-get update
最后开始安装cuda以及显卡驱动(安装cuda的同时就会把显卡驱动也全部安装好,这个真的很方便。但是下载的时间有点长。)
$ sudo apt-get install cuda  
安装完之后你需要设置环境变量:
    $ export PATH=/usr/local/cuda-6.5/bin:$PATH  
    $ export LD_LIBRARY_PATH=/usr/local/cuda-6.5/lib64:$LD_LIBRARY_PATH  
设置完毕之后,你还可以选择是否安装cuda附带的示例代码(<dir>表示你要安装的位置,你可以将<dir>替换成~):
    $ cuda-install-samples-6.5.sh <dir>  
接下来做一些验证工作(我的电脑没有GPU,所以验证跳过):
查看显卡的驱动版本
    cat /proc/driver/nvidia/version  
查看nvcc编译器的版本
    nvcc -V i  
编译cuda的示例代码:
    cd ~/NVIDIA_CUDA-6.5_Samples  
然后make一下编译代码。
进入bin路径运行devicequery
    cd ~/NVIDIA_CUDA-6.5_Samples/bin  
    ./ deviceQuery  
Step2、预装依赖准备
Caffe has several dependencies.
    CUDA is required for GPU mode.
        library version 7.0 and the latest driver version are recommended, but 6.* is fine too
        5.5, and 5.0 are compatible but considered legacy
    BLAS via ATLAS, MKL, or OpenBLAS.
    Boost >= 1.55
    OpenCV >= 2.4 including 3.0
    protobuf, glog, gflags
    IO libraries hdf5, leveldb, snappy, lmdb
Pycaffe and Matcaffe interfaces have their own natural needs.
    For Python Caffe: Python 2.7 or Python 3.3+, numpy (>= 1.7), boost-provided boost.python
    For MATLAB Caffe: MATLAB with the mex compiler.
cuDNN Caffe: for fastest operation Caffe is accelerated by drop-in integration of NVIDIA cuDNN. To speed up your Caffe models, install cuDNN then uncomment the USE_CUDNN := 1 flag in Makefile.config when installing Caffe. Acceleration is automatic. For now cuDNN v1 is integrated but see PR #1731 for v2.
CPU-only Caffe: for cold-brewed CPU-only Caffe uncomment the CPU_ONLY := 1 flag in Makefile.config to configure and build Caffe without CUDA. This is helpful for cloud or cluster deployment.
(最后一步在编译caffe前会说明)
具体操作:
下面3个应该在build-essential里了,不过这里保险起见,我先装上了。
    sudo apt-get install g++
    sudo apt-get install git
    sudo apt-get install freeglut3-dev
build-essential:
    sudo apt-get install build-essential
    sudo apt-get update
安装ATLAS for Ubuntu:
     # sudo apt-get install libatlas-base-dev
     # sudo apt-get install libprotobuf-dev
     # sudo apt-get install libleveldb-dev
     # sudo apt-get install libsnappy-dev
     # sudo apt-get install libopencv-dev
     # sudo apt-get install libboost-all-dev
     # sudo apt-get install libhdf5-serial-dev
     # sudo apt-get install libgflags-dev
     # sudo apt-get install libgoogle-glog-dev
     # sudo apt-get install liblmdb-dev
     # sudo apt-get install protobuf-compiler
安装Opencv:
     # cd ~/caffe
     # git clone https://github.com/jayrambhia/Install-OpenCV
     # cd Install-OpenCV/Ubuntu
     # sudo ./dependencies.sh
     # cd 2.4
     # sudo sh ./opencv2_4_9.sh
*这里有几点要注意的,也是花了很长时间解决的一个坑:
    首先2.4.8的源找不到了,所以不要用2.4.8
    其次2.4.10编译有问题,不过可以尝试解决下,这里没用
这里最好不要自己直接装,因为有很多的依赖,去
git clone https://github.com/jayrambhia/Install-OpenCV
或者https://github.com/jayrambhia/Install-OpenCV都可以下载脚本。
这里最新的就是2.4.9,如果要装2.4.10的话把脚本拷贝一份做对应修改就行了。
    *由于wget opencv2.4.9.zip源文件非常慢,这里的办法是去sourceforge对应下载页面,选择其他服务器下载镜像,可以下载到本地,注意同时修改相应脚本,把wget注释掉。
    make opencv的时候会报错,这里将脚本的cmake替换为如下:
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D WITH_CUBLAS=OFF -D WITH_CUDA=OFF -D WITH_CUFFT=OFF ..
即加上最后3个,编译ok,然后继续。
Step3:编译Caffe
下载caffe安装包,下载地址:https://github.com/BVLC/caffe
    解压该压缩包,解压缩命令:
    unzip /home/liuxiabing/下载/caffe-master.zip  
    注:如果解压位置出错了,可以使用以下命令删除该目录及所有的子目录:
    sudo rm -rf caffe-master  
    进入caffe根目录, 首先复制一份Makefile.config,命令:
    cp Makefile.config.example Makefile.config  
    然后修改里面的内容,主要需要修改的参数包括:
    CPU_ONLY 是否只使用CPU模式,由于我没有NVIDIA的显卡,就没有安装CUDA,因此需要打开这个选项。
    其余的一些配置可以根据需要修改:
    BLAS (使用intel mkl还是OpenBLAS)
    MATLAB_DIR 如果需要使用MATLAB wrapper的同学需要指定matlab的安装路径, 如我的路径为 /usr/local/MATLAB/R2013b (注意该目录下需要包含bin文件夹,bin文件夹里应该包含mex二进制程序)
    DEBUG 是否使用debug模式,打开此选项则可以在eclipse或者NSight中debug程序
    完成上述设置后,开始编译:  
    make all -j4  
    make test  
    make runtest  
   注意:-j4 是指使用几个线程来同时编译,可以加快速度,j后面的数字可以根据CPU core的个数来决定,如果CPU是4核的,则参数为-j4,也可以不添加这个参数,直接使用“make all”,这样速度可能会慢一点儿。
Step4:利用mnist数据集进行测试
*运行下载数据的脚本的时候发现mnist数据网站打不开,幸好之前在ufldl实验中保存了一份mnist的数据集,放到data/mnist目录下重命名了一下最后直接运行ok。
使用MNIST数据集进行测试
    Caffe默认情况会安装在$CAFFE_ROOT,就是解压到的那个目录,例如:$ home/username/caffe-master,所以下面的工作,
默认已经切换到了该工作目录。下面的工作主要是测试Caffe是否工作正常,不做详细评估。具体设置请参考官网:
http://caffe.berkeleyvision.org/gathered/examples/mnist.html
    (1)数据预处理
    可以用下载好的数据集,也可以重新下载,直接下载的具体操作如下:
    $ cd data/mnist  
    $ sudo sh ./get_mnist.sh  
    (2)重建LDB文件,就是处理二进制数据集为Caffe识别的数据集,以后所有的数据,包括jpe文件都要处理成这个格式,执行命令如下:
    $ sudo sh ./examples/mnist/create_mnist.sh  
    生成mnist-train-leveldb/ 和 mnist-test-leveldb/文件夹,这里包含了LDB格式的数据集
    注:新版caffe都需要从根目录上执行,如果使用下列命令执行:
    # cd examples/mnist  
    # sudo sh ./create_mnist.sh  
    可能会遇到这个错误:./create_mnist.sh: 16: ./create_mnist.sh: build/examples/mnist/convert_mnist_data.bin: not found
    (3)训练mnist
    如果没有GPU,只有CPU的话,需要先修改examples/mnist目录下lenet_solver.prototxt文件,将solver_mode:GPU改为      solver_mode:CPU,修改后结果如下所示:
    # solver mode: CPU or GPU  
    solver_mode: CPU  
    修改时可以使用vi编辑命令,如果是只读文件,不能编辑,可以用sudo命令,比如:
    sudo vi lenet_solver.prototxt  
     先进入命令模式,使用a进入编辑模式,修改完之后,使用esc退出编辑模式,进入末行模式,再使用“:wq”保存修改并退出(“:q!”为退出但不保存修改)
   修改完成后,再执行下面的命令进行训练:
    $ cd examples/mnist  
    $ sudo sh ./train_lenet.sh  
最终训练完的模型存储为一个二进制的protobuf文件,CPU模式下训练这样的数据集大概需要20分钟,比较慢。至此,Caffe安装的所有步骤完结。
参考:
官方安装文档:
    http://caffe.berkeleyvision.org/installation.html
caffe+Ubuntu14.0.4 64bit 环境配置说明(无CUDA,caffe在CPU下运行) :
    http://blog.csdn.net/liuxiabing150/article/details/42503389
(*注意无GPU模式下的配置)
全新 ubuntu 14.04 系统安装 caffe:
    http://www.rthpc.com/plus/view.php?aid=356
全新 ubuntu 14.04 系统安装 caffe(使用mkl)
    http://www.rthpc.com/plus/view.php?aid=375
安装cuda的说明:
    http://blog.csdn.net/xizero00/article/details/43227019
自动安装opencv的脚本:
    https://github.com/jayrambhia/Install-OpenCV
caffe安装说明参考:
    http://www.cnblogs.com/platero/p/3993877.html
Caffe 安装配置(CentOS + 无GPU):
    http://www.tuicool.com/articles/uiuA3e
Caffe + Ubuntu 14.04 64bit + CUDA 6.5 配置说明:
    http://www.cnblogs.com/platero/p/3993877.html

你可能感兴趣的文章
聊聊flink的NetworkBufferPool
查看>>
MySQL主从同步机制和同步延时问题追查
查看>>
409. Longest Palindrome
查看>>
LeetCode 319. Bulb Switcher
查看>>
前端知识点——图片
查看>>
学汉语、来云栖、海外布道阿里云……这位印度架构师不一般
查看>>
240. Search a 2D Matrix II
查看>>
Leaflet-Develop-Guide
查看>>
Iterator图解
查看>>
Linux环境升级node版本
查看>>
磨刀霍霍:爬爬爬爬爬爬虫爬起来~
查看>>
【跃迁之路】【688天】程序员高效学习方法论探索系列(实验阶段445-2019.1.7)...
查看>>
OA管理系统 - SpringBoot + AmazeUi
查看>>
URI 上传中文符
查看>>
Euler 今日问世!国内首个工业级的图深度学习开源框架,阿里妈妈造
查看>>
是时候了解下Travis CI是什么了
查看>>
什么是数据库范式,是否应该严格遵守范式,什么情况下应该不遵守范式?
查看>>
LogParser v0.8.0 发布:一个用于定期增量式解析 Scrapy 爬虫日志的 Python 库
查看>>
MacOS安装git
查看>>
NEO改进协议提案6(NEP-6)
查看>>