[开发工具]R使用XGBoost并配置GPU 附：LightGBM

使用R语言训练XGBoost模型时，为提高效率，打算运用GPU加速。我使用的是Win10系统，习惯用R语言，但这方面的中文教程比较少。我打算用这篇博文把摸索的过程和心得记录下来。

0 预备工作

• 这里参考了官方的教程：https://xgboost.readthedocs.io/en/latest/build.html#obtaining-the-source-code
• 首先要有支持CUDA 10.1及以上的GPU（我省吃俭用买了张3060ti），并且下载安装CUDA，安装教程可以参考其他的博文：https://blog.csdn.net/weixin_43848614/article/details/117221384
• 注意，在安装CUDA之前要安装Visual Studio
• 要下载并安装Git: https://git-scm.com/
• 提前安装Rtools，并且把下面的Rtools位置写进环境变量PATH中：
  C:\rtools40\usr\bin
C:\rtools40\mingw64\bin
• 下载并安装cmake:
  https://cmake.org/download/

1 XGBoost的下载与安装

1.1 获取XGBoost的储存库

安装好之后，打开一个Git CMD，逐步输入以下命令，下载数据：

git clone --recursive https://github.com/dmlc/xgboost

转到xgboost目录并建立submodule

cd xgboost 
git submodule init
git submodule update

1.2 安装XGBoost

打开一个R的窗口，先安装一个processx包，可以加快后续的安装步骤

install.packages("processx")

在Git CMD窗口中继续输入:
注意，要在xgboost的目录下执行，如果不在，就先cd到xgboost的位置：cd C:\path\to\xgboost

mkdir build
cd build
cmake .. -G"Visual Studio 16 2019" -A x64 -DUSE_CUDA=ON -DR_LIB=ON -DR_VERSION=4.2.0
cmake --build . --target install --config Release

注意，Visual Studio和R的版本要根据实际情况输入，我的电脑上是VS2019和R4.2.0

2 在模型中利用GPU加速

hr_xgb <- xgb.cv(
  data = X,
  label = Y,
  nrounds = 1000,
  early_stopping_rounds = 50,
  nfold = 10,
  stratified = T,
  params = list(
    objective = 'binary:logistic',
    eta = 0.01,
    max_depth = 3,
    min_child_weight = 3,
    subsample = 0.5,
    colsampe_bytree = 0.5,
    eval_metric = 'auc',
    tree_method = 'gpu_hist'
  ),
  verbose = 0
)

在模型的参数中加入了tree_method = 'gpu_hist'，便是在使用GPU加速了

后记

我在新电脑上安装的时候遇到了一些报错：

1. No CUDA toolset found. 看了网上的帖子后，把CUDA卸载了重新安装一下就好了。注意要在安装CUDA之前先安装Visual studio
2. dlltools.exe not found! 我发现Rtools42的mingw/bin/目录下是空的，没有dlltools.exe等文件，而之前电脑用的Rtools40是有的。所以抱着死马当活马医的心态，我把Rtools40的mingw/bin/目录下的文件拷贝到了Rtools42相应的目录下，还好后面没再报错。

LightGBM也是类似的操作

参见：
https://github.com/Microsoft/LightGBM/blob/master/docs/Installation-Guide.rst#build-gpu-version

除了XGBoost用到的东西外，还要再安装一个Boost Binaries

msvc要与Visual的版本匹配：

Visual Studio 2015 -> msvc-14.0-64.exe,

Visual Studio 2017 -> msvc-14.1-64.exe,

Visual Studio 2019 -> msvc-14.2-64.exe,

Visual Studio 2022 -> msvc-14.3-64.exe.

此外还要把BOOST写到环境变量里

并且在PATH中添加如下：

打开一个CMD，依次运行如下：

git clone --recursive https://github.com/microsoft/LightGBM
cd LightGBM
Rscript build_r.R --use-gpu

创作打卡挑战赛

赢取流量/现金/CSDN周边激励大奖