开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

[开发工具]DW推荐系统 | Task01 熟悉新闻推荐系统基本流程

Task01 熟悉新闻推荐系统基本流程

这两天因为事情较多，只听了直播课程了解了一下基本流程+跑通程序。

1.流程图

在这里插入图片描述

仅了解了大概，说实话有些流程还不太了解。（填坑，之后再补…

2.安装流程

这一块非常感谢峰哥！基本完全按照他的流程来的，没踩什么坑！撒花！开心！

2.1 使用软件版本

操作系统：Windows10

MySQL：8.0.23

Redis：5.0.14

Mongodb：5.0.5

Anaconda Python 4.8.3

Node.js：12.19.0

前端IDE：VSCode 1.63.0

2.2 前后端项目运行

2.2.1 前端

因为自身电脑之前安装了conda和vscode所以就直接使用了，需要改变是：

vscode切换到conda的python环境
安装node.js
访问页面

VSCode切换conda python环境

先导入项目工程 VUE-NEWSINFO ，然后打开File-》preferences -》setting

在这里插入图片描述

搜索python.pythonPath，再红框中输入anaconda中对应环境的python命令的路径，如
“D:\Anaconda\envs\mlbook\bin\python”
在这里插入图片描述

这样我们的工程就在自己对应的虚拟环境中

打开终端安装node.js

npm install -g cnpm --registry=https://registry.npm.taobao.org

cnpm install
在这里插入图片描述

安装成功！

访问页面

因为是本地服务器，需要修改ip地址为127.0.0.1，打开文件package.json，修改第49行的IP和端口，修改内容如下：

"scripts":{
	"test": "echo \"Error: no test specified\" && exit 1",
	"dev": "webpack-dev-server --open --port 8686 --contentBase src --hot --host 127.0.0.1",
	"start": "nodemon src/main.js"
}

打开文件main.js，文件路径：src/main.js，修改第23行的IP和端口，修改内容如下：

// Vue.prototype.$http = axios
Vue.use(VueAxios, axios); 
// axios**公共基路径，以后所有的请求都会在前面加上这个路径 
// axios.defaults.baseURL = "http://10.170.4.60:3000";  
// axios.defaults.baseURL = "http://47.108.56.188:3000"; 
axios.defaults.baseURL = "http://127.0.0.1:5000"

在终端运行 npm run dev
在这里插入图片描述

2.2.2 后端

采用pycharm，导入项目news_rec_server，配置相应的环境，再终端安装相应的依赖包。
打开server.py，修改修改第233行的IP和端口，修改为host=‘127.0.0.1’, port=5000
修改项目路径配置文件proj_path.py，文件路径：conf/proj_path.py

# home_path = os.environ['HOME']
# proj_path = home_path + "/fun-rec/codes/news_recsys/news_rec_server/"
proj_path = os.path.join(sys.path[1], '')

核对数据库配置文件dao_config.py
启动雪花算法服务，用于生成用户ID，启动命令如下：

snowflake_start_server --address=127.0.0.1 --port=8910 --dc=1 --worker=1
启动server.py程序

2.3 数据库安装配置

需要安装datagrip，比较方便连接不同的数据库，并且进行可视化界面显示

2.3.1 MySQL

电脑自带mysql，但是之前在Mysql Workbench中连接过本地的3306端口号，需要把这个连接先删除，或者在datagrip里面连接时修改端口号，但是为了方便起见，我就把之前的删除了。

这里遇见一个坑，我忘记我之前mysql root用户的密码了，为了重新配置密码搞了好久。

按照这篇博客https://www.cnblogs.com/jerrys/p/10626408.html，就可以重置。

其中找到MySQL的bin目录，可以在电脑-服务-mysql服务双击中找到目录。

接着就可以连接了，然后创建数据库loginfo和userinfo

在这里插入图片描述

2.3.2 Mongodb和Redis

下载峰哥微云中的这两个文件夹，直接解压缩。

Mongodb的配置可以按照这个博客来：https://blog.csdn.net/m0_46217225/article/details/119109334?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163946311116780271525266%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=163946311116780271525266&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-1-119109334.pc_search_mgc_flag&utm_term=%E6%9C%80%E6%96%B0mongdb%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE%2B%E6%B7%BB%E5%8A%A0%E5%88%B0%E6%9C%8D%E5%8A%A1&spm=1018.2226.3001.4187
然后在datagrip中直接连接即可
Redis也是直接下载文件夹Redis-x64-5.0.14解压缩，然后运行redis-server.exe

在这里插入图片描述

看到这个界面就可以了

接着下载RedisDesktopManager，直接运行，连接默认的本地连接即可

2.4 启动程序

接下来的步骤完全按照峰哥的执行步骤执行，不会出错~

2.4.1 爬取新浪新闻

通过查看crawl_news.sh文件（文件路径：scheduler/crawl_news.sh），可知爬取新浪新闻的代码在如下目录/materials/news_scrapy/sinanews/run.py使用PyCharm的Run按钮，手动执行该代码，需要配置参数：—pages=30

2.4.2 更新物料画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新物料画像的代码在如下目录：materials/process_material.py，运行

2.4.3 更新用户画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新用户画像的代码在如下目录：materials/process_user.py使用PyCharm的Run按钮，手动执行该代码