张小白带你体验MindSpore 1.1的新特性:单节点缓存Cache(1)CPU环境下的Cache体验
1139
2022-05-29
(零)背景:
在张小白上次介绍Jetson Nano B01的系列文章中,张小白本想尝试在CUDA+aarch64下完成MindSpore GPU版本的源码编译,但是编译到98%的时候卡住了:
张小白初步分析是GPU版本需要更多的内存和算力,但是Jetson Nano不具备。。。
于是,张小白拿出自己前阵子买的 树莓派4B(旁白:这转折得有点快。。。)
是的,你没看错,就是双十二买的,这只是一种仪(DUO)式(SHOU)的副产品。这其实是张小白想玩机械臂的主板之一。前面介绍的Jetson Nano也可以玩机械臂。
但是光有主板是无法开机的。还需要有:摄像头、亚克力支架、Type-C电源等等。
所以最后成型就是这样的:
其中,散热风扇的电源需要接最后一排的倒数第二个(红针)和第三个针头(黑针)。
其中type-C电源按上图所示接上,但是因为张小白没有买 MicroHDMI-HDMI转接线,所以没法通过外接显示器查看系统,而只能通过网线把有线网卡接到路由器上,
(上图最右边的网口),到路由器上查到树莓派的IP地址:
然后通过MobaXterm(ssh)和VNC viewer远程登录。
(一)制卡
当然,首先还是老样子,拿出一张32G的TF卡,进行系统烧录。
其实是可以使用跟Nano同样的烧录软件:balenaEtcher,但是张小白还是用卖家推荐的SDFormatter和Win32DiskImager
这两个软件进行烧录。前一个是进行磁盘的格式化,后一个是进行镜像的写入。
选择的镜像自然也是卖家推荐的新手镜像:
这个镜像包含了以下内容:
(1)Raspbian GNU/Linux 10 (buster) ARM系统
(2)JupyterLab(含Widgets插件)
(3)openCV 4.5
(4)TensorFlow 1.14(含Keras)
可以查看下python版本(2.7.16,3.7.3),tensorflow的版本:1.14.0
以及Keras的版本:2.2.4
查看openCV的版本:4.5
(二)使用Keras构建LeNet神经网络
然后将上次在Nano中试过的 Keras LeNet的案例(参见:Nvidia Jetson Nano B01初体验(二)https://bbs.huaweicloud.com/blogs/330177)在树莓派上执行一遍:
。。
。。开始训练:
看来树莓派4B使用CPU训练LeNet如此简单的神经网络应该还是没问题的。
那么,MindSpore CPU能不能在树莓派4B上跑呢?要不也跟Nano安装MindSpore一样的方式,用CPU版本试一下?
这个树莓派系统Raspbian GNU/Linux 10出身于debian,很多命令跟ubuntu系统极其相似。
还是老样子,先装virualenv,然后再搭建Python 3.9.0环境,因为上次MindSpore CPU的版本就是Python 3.7.5不成功,Python 3.9.0成功了的。
(三)在Python 3.9.0环境下PIP安装MindSpore 1.6.0 CPU版的尝试
(1)安装vitualenv和virtualenvwrapper
sudo -H pip3 install virtualenv virtualenvwrapper -i https://pypi.tuna.tsinghua.edu.cn/simple/
mkdir ~/.virtualenvs
vi ~/.bashrc加入以下内容:
export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3 source /usr/local/bin/virtualenvwrapper.sh
source ~/.bashrc
(2)安装pyenv
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
如果github连不上则使用下面的命令:
git clone https://gitee.com/ntshibin/pyenv ~/.pyenv
在~/.bashrc加入以下内容:
export PATH=~/.pyenv/bin:$PATH export PYENV_ROOT=~/.pyenv eval "$(pyenv init -)"
source ~/.bashrc
查看python可安装的版本:
这里需要安装openssl的库,否则安装python时会报错:
sudo apt-get install openssl libssl-dev
好像装过了。
(3)安装cmake 3.18.5
检查cmake版本:
升级到3.18吧:
wget https://github.com/Kitware/CMake/releases/download/v3.18.5/cmake-3.18.5.tar.gz
tar -zxvf cmake-3.18.5.tar.gz
cd cmake-3.18.5
。。。
make -j8
。。。
sudo make install -j8
cmake --version
不要紧,这个是因为路径不对。
cd /usr/bin
sudo mv cmake cmake.old
sudo ln -s /usr/local/bin/cmake cmake
cmake --version
(4)使用pyenv安装Python 3.9.0
pyenv install 3.9.0
耐心等待下载和安装完毕。。
可是:
两次都没下载完毕。
那只有想办法先用windows下载下来,然后再传到树莓派上安装了。
cd ~/.pyenv
mkdir cache
cd cache
cp ~/Python-3.9.0.tar.xz .
cd
pyenv install 3.9.0
pyenv rehash
pyenv versions
virtualenv -p ~/.pyenv/versions/3.9.0/bin/python mindspore-py390
source ~/mindspore-py390/bin/activate
python -V
(5)安装MindSpore CPU版本
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.6.0/MindSpore/cpu/aarch64/mindspore-1.6.0-cp39-cp39-linux_aarch64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
好像这个版本并不是支持树莓派的系统。。。
难道CPU版本也需要源码编译才行吗?
(四)在Python 3.9.0环境下源码安装MindSpore 1.6.0 CPU版的尝试
(1)安装gmp 6.12
wget https://gmplib.org/download/gmp/gmp-6.1.2.tar.xz
xz -d gmp-6.1.2.tar.xz
tar -xvf gmp-6.1.2.tar
cd gmp-6.1.2
./configure
。。
make
sudo make install
(2)安装patch 2.5.4
wget http://ftp.gnu.org/gnu/patch/patch-2.5.4.tar.gz
tar zxvf patch-2.5.4.tar.gz
cd patch-2.5.4
./configure
make -j8
sudo make install -j8
patch --version
(3)安装flex 2.6.4
sudo apt-get install flex
按Y继续:
flex --version
(4)安装wheel 0.37.1
发现安装得不对又换了回来。。。
pip install wheel==0.32.0
pip install wheel==0.37.1
(5)安装openSSL 1.1.1
wget https://github.com/openssl/openssl/archive/OpenSSL_1_1_1g.tar.gz
tar -zxvf OpenSSL_1_1_1g.tar.gz
cd openssl-OpenSSL_1_1_1g
./config --prefix=/usr/local/openssl
make -j8
sudo make install -j8
编辑 ~/.bashrc,追加一行:
export OPENSSL_ROOT_DIR=/usr/local/openssl
source ~/.bashrc 使其生效。
回到virtualenv环境:
source ~/mindspore-py390/bin/activate
(6)安装libnuma-dev 2.0.12
sudo apt-get install libnuma-dev
(7)源码编译Python 3.7.5
既然是源码编译,可能需要安装Python 3.7.5(尽管现有系统提供的是Python 3.7.3)
wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz
tar -xzvf Python-3.7.5.tgz
cd Python-3.7.5
./configure --prefix=/usr/local/python3.7.5 --with-openssl=/usr/local/openssl --enable-shared
make -j 12
sudo make install -j 12
修改 ~/.bashrc
将前面virtualenv环境的内容注释掉:
export PATH=/usr/local/python3.7.5/bin:$HOME/.local/bin:$PATH
source ~/.bashrc
python -V
python3 -V
奇怪,小版本怎么了?
到编译安装好的/usr/local/python3.7.5/bin目录下查看怎么也是3.7.3的版本?怪事。。。
python3 -c "from distutils.sysconfig import get_python_inc; print(get_python_inc())"
python3 -c "import distutils.sysconfig as sysconfig; print(sysconfig.get_config_var('LIBDIR'))"
感觉有点没有道理可言。
(8)安装一些依赖
sudo apt-get install -y build-essential m4 libgmp-dev libmpfr-dev libmpc-dev
(9)源码编译 gcc7.3.0
然后根据上次的经验,gcc 7.5.0编译都不如gcc 7.3.0好,更何况目前用的是gcc 8.3.0
gcc --version
g++ --version
【1】下载gcc源码包
wget http://ftp.gnu.org/gnu/gcc/gcc-7.3.0/gcc-7.3.0.tar.gz
tar -xvzf gcc-7.3.0.tar.gz
cd gcc-7.3.0
./configure --enable-checking=release --enable-languages=c,c++ --disable-multilib
make -j 12
报错了。
sudo apt -f install
sudo apt update
【2】安装gmp-5.0.1
是不是前面漏了isl没装所以报错的呢?所以我们按照以前编译gcc的方式,顺序按照gmp-5.0.1,mpfr-3.1.0,mpc-1.1.0,
wget http://www.multiprecision.org/downloads/mpc-1.1.0.tar.gz
wget ftp://ftp.gnu.org/gnu/gmp/gmp-5.0.1.tar.bz2
wget http://ftp.gnu.org/gnu/mpfr/mpfr-3.1.0.tar.xz
bzip2 -d gmp-5.0.1.tar.bz2
tar xvf gmp-5.0.1.tar
cd gmp-5.0.1
sudo apt-get install m4
./configure --prefix=/usr/local/gmp-5.0.1
make -j12
sudo make install -j12
【3】安装mpfr 3.1.0
xz -d mpfr-3.1.0.tar.xz
tar xvf mpfr-3.1.0.tar
cd mpfr-3.1.0
./configure --prefix=/usr/local/mpfr-3.1.0 --with-gmp=/usr/local/gmp-5.0.1
make -j12
sudo make install -j12
【4】安装mpc 1.1.0
gzip -d mpc-1.1.0.tar.gz
tar xvf mpc-1.1.0.tar
cd mpc-1.1.0
./configure --prefix=/usr/local/mpc-1.1.0 --with-gmp=/usr/local/gmp-5.0.1 --with-mpfr=/usr/local/mpfr-3.1.0
make -j12
sudo make install -j12
在/etc/ld.so.conf添加以下行
/usr/local/gmp-5.0.1/lib
/usr/local/mpfr-3.1.0/lib
/usr/local/mpc-1.1.0/lib
sudo ldconfig
【5】安装isl-0.18
张小白到csdn下载了isl-0.18的安装包:
xz -d isl-0.18.tar.xz
tar xvf isl-0.18.tar
cd isl-0.18
./configure --prefix=/usr/local/isl-0.18 --with-gmp-prefix=/usr/local/gmp-5.0.1
make -j12
sudo make install -j12
编辑 ~/.bashrc,追加以下内容:
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/isl-0.18/lib
source ~/.bashrc
【6】安装isl-0.16.1
wget ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2
bzip2 -d isl-0.16.1.tar.bz2
tar -xvf isl-0.16.1.tar
cd isl-0.16.1
./configure --prefix=/usr/local/isl-0.16.1 --with-gmp-prefix=/usr/local/gmp-5.0.1
make -j12
sudo make install -j12
【7】编译gcc 7.3.0(失败了!)
cd gcc-7.3.0
./configure --with-gmp=/usr/local/gmp-5.0.1 --with-mpc=/usr/local/mpc-1.1.0 --with-mpfr=/usr/local/mpfr-3.1.0 --disable-multilib
。。。
configure的时候仍然报没找到isl,真奇怪。
编译试试:
make -j12
好奇怪,度娘查这个错是因为gcc没有装multilib库,可是明明configure的时候disable了multilib的。。。
好了,感觉源码编译mindspore 1.6.0这块暂时也试验不下去了。张小白想想还有别的事儿要做,就暂停现在的尝试吧。
但愿下次能解决问题。
(未完待续)
Keras Linux 神经网络
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。