MindSpore入门--跑通BCGF模型开发手册

MindSpore入门–跑通BCGF模型

An Introduction To MindSpore – BCGF

MindSpore入门–跑通BCGF模型

本文开发环境如下

ModelArts

Notebook

Ascend

本文主要内容如下

环境准备

数据准备

模型训练

1. 环境准备

注意事项：

本次笔者基于Ascend进行8卡运行，并且配置了500G的云硬盘。8卡主要作用是防止内存溢出，导致预处理时进程被Killed

1.1 克隆仓库并进入到本地BCGF目录

git clone https://gitee.com/mindspore/models.git mindspore_models cd mindspore_models/official/gnn/bgcf

1

2

可以使用find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'查看deepfm目录结构，目录结构如下所示。

. |--README.md |--README_CN.md |--ascend310_infer | |--CMakeLists.txt | |--build.sh | |--inc | | |--utils.h | |--src | | |--main.cc | | |--utils.cc |--default_config.yaml |--eval.py |--export.py |--mindspore_hub_conf.py |--model_utils | |--__init__.py | |--config.py | |--device_adapter.py | |--local_adapter.py | |--moxing_adapter.py |--postprocess.py |--preprocess.py |--requirements.txt |--scripts | |--run_eval_ascend.sh | |--run_eval_gpu.sh | |--run_infer_310.sh | |--run_process_data_ascend.sh | |--run_train_ascend.sh | |--run_train_gpu.sh |--src | |--bgcf.py | |--callback.py | |--dataset.py | |--metrics.py | |--utils.py |--train.py

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

1.2 准备开发环境

pip3 install -r requirements.txt

1

2.数据准备与训练

2.1 下载数据集

数据集-Amazo Beauty

http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv

http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

注意事项

如果使用wget下载速度慢，可以使用迅雷等下载工具下载完成后再上传到服务器。

mkdir cache && cd cache mkdir amazon && cd amazon wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_All_Beauty.csv wget http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/ratings_Beauty.csv

1

2

3

4

md5sum ratings_All_Beauty.csv md5sum ratings_Beauty.csv

1

2

会输出如下内容

[ma-user amazon]$md5sum ratings_All_Beauty.csv 896df55afb738295ff446fdd0b0a7749 ratings_All_Beauty.csv [ma-user amazon]$md5sum ratings_Beauty.csv 8d933dae79f7d5156d3368dcfe6cee84 ratings_Beauty.csv

1

2

3

4

find . -print|sed -e 's;[^/]*/;|--;g;s;--|; |;g'

1

会输出如下内容

. |--ratings_All_Beauty.csv |--ratings_Beauty.csv

1

2

3

数据预处理

cd .. cd .. cd scrtpts bash ./run_process_data_ascend.sh ../cache/amazon

1

2

3

4

进入到python环境，将模型保存。

#进入到gnn目录下执行操作 mox.file.copy_parallel("bgcf/scripts/data_mr", "obs://ms-models/amazon-beauty/mind-record") mox.file.copy_parallel("bgcf", "obs://ms-models/bgcf/bgcf")

1

2

3

3.开始训练

下面我们利用已有的mr文件部署算法开始训练。

训练结束。

4.发布算法

算法已发布至BCGF模型算法 (huaweicloud.com)

MindSpore 机器学习

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。