[大数据]C++使用Hadoop

安装Hadoop

这里推荐一篇文章，我感觉写得很详细，跟着流程安装起来很容易。
install-hadoop-on-ubuntu-20-04

使用Hadoop注意事项

• hadoop有用户组，有用户权限区分，其他linux用户使用需要加入权限。
• hadoop安装好以后，如果不能正常使用，查看环境变量CLASSPATH和USER。
• 在终端可以成功运行，但是在Clion编辑器里面也需要考虑环境变量。

三种C++调用Hadoop API的方式

• 使用libhdfs，一个c语言调用java JNI的库。

例如：

#include <iostream>
#include <cstring>
#include "hdfs.h"


int main() {
    std::cout << "Hello, World!" << std::endl;
    // 在 $HADOOP_HOME/etc/hadoop/core-site.xml 中配置
    hdfsFS fs = hdfsConnect("localhost", 9000);
    std::cout << fs<< std::endl;
    const char *writePath = "/tmp/testfile.txt";
    hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY | O_CREAT, 0, 0, 0);
    if (!writeFile) {
        fprintf(stderr, "Failed to open %s for writing!\n", writePath);
        exit(-1);
    }
    char *buffer = "Hello, World!";
    tSize num_written_bytes = hdfsWrite(fs, writeFile, (void *) buffer, strlen(buffer) + 1);
    if (hdfsFlush(fs, writeFile)) {
        fprintf(stderr, "Failed to 'flush' %s\n", writePath);
        exit(-1);
    }

    std::cout << num_written_bytes << std::endl;
    hdfsCloseFile(fs, writeFile);

    return 0;
}

• 使用libhdfs3，c++对libhdfs的包装。
• 使用linux system或者popen 执行hadoop的命令行Command。区别是system不能返回执行的结果，popen可以通过管道获取终端输出的结果。（推荐使用，比较简单，不用配置java jni环境）

例如：

void fun(){
	std::string commandStr = "hadoop fs -get " + file_path + " .";
	system(commandStr.c_str());
}