IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 网络协议 -> 关于使用HTTP上传文件到hdfs文件系统 -> 正文阅读

[网络协议]关于使用HTTP上传文件到hdfs文件系统

String tenantName = System.getenv("OPENPALETTE_NAMESPACE");
String dataIntegrationServiceName = "dataintegration-ms";

@Override
public void importData(MultipartFile file, DataImportRecordDTO request) throws Exception {
    log.info("数据导入开始。");
    log.info("数据导入参数:" + JSONUtil.toJson(request));
    // 拼装URL
    String url = "http://" + dataIntegrationServiceName + "-" + tenantName + ":10258/dataintegration/file/importdata" +
            "?dbName=" + URLEncoder.encode(request.getDbName(), "utf-8") +
            "&tableName=" + URLEncoder.encode(request.getTableName(), "utf-8") +
            "&partitions=" + URLEncoder.encode(request.getPartitionConfig(), "utf-8") +
            "&isOverWrite=" + URLEncoder.encode(request.getOverwrite().toString(), "utf-8") +
            "&clusterName=" + URLEncoder.encode(request.getClusterName(), "utf-8") +
            "&sparkSourceName=" + URLEncoder.encode(request.getSparkSourceName(), "utf-8");
    log.info("URL: " + url);

    // 设置Rest请求参数
    CloseableHttpClient httpClient = HttpClients.createDefault();
    HttpPost httpPost = new HttpPost(url);
    httpPost.addHeader("Authorization", "administrator:SdzV4wj1ufh3+X1PgIQXj7ld9gc=");
    HttpEntity entity = MultipartEntityBuilder.create()
            .setCharset(Consts.UTF_8)
            .addBinaryBody("file", file.getInputStream(), ContentType.MULTIPART_FORM_DATA, file.getOriginalFilename())
            .build();
    httpPost.setEntity(entity);

    // 执行文件上传
    HttpResponse response;
    DataImportRecord record = request.toDataImportRecord();
    record.setFileName(file.getOriginalFilename());
    record.setFileSize(file.getSize());
    String errorMsg = "";
    try {
        response = httpClient.execute(httpPost);
        log.info("接口返回信息:" + response);

        if (response.getStatusLine().getStatusCode() != 200) {
            log.error("数据导入失败!");
            errorMsg = response.toString();
            record.setIsSuccess(false);
        } else {
            log.info("数据导入成功。");
            record.setIsSuccess(true);
        }
    } catch (Exception e) {
        log.error("数据导入失败!");
        record.setIsSuccess(false);
        errorMsg = e.getMessage() + "\n" + Arrays.stream(e.getStackTrace()).map(StackTraceElement::toString).collect(Collectors.joining("\n"));
        throw e;
    } finally {
        // 插入操作记录
        log.info("插入数据导入记录。");
        record.setFailMessage(errorMsg);
        record.setCreateTime(new Date());
        record.setId(SnowflakeIdWorker.newId());
        dataImportDao.insert(record);
    }

}

@Override
public DataImportEnvironmentInfoDTO getDataImportEnvironmentInfo(Long tableId, String envType) throws Exception {
    // 获取表信息
    Table table = tableDao.findByID(tableId);
    if (table == null) throw new BusinessException(BusinessExceptionEnums.PARAM_ERROR.getCode(), "未找到表信息,表ID:" + tableId);
    // 获取环境信息
    EnvironmentInfo envInfo = getEnvironmentInfo(table.getBusinessInformation().getProjectID(), EnvironmentEnum.valueOf(envType));
    if (envInfo == null) throw new BusinessException(BusinessExceptionEnums.PARAM_ERROR.getCode(), "未找到环境信息,项目ID:" + table.getBusinessInformation().getProjectID());
    DataImportEnvironmentInfoDTO data = new DataImportEnvironmentInfoDTO();
    data.setDbName(table.getDatabase());
    data.setClusterName(envInfo.getClusterName());
    data.setSparkSourceName(envInfo.getSourceData().getSourceName());
    return data;
}
  网络协议 最新文章
使用Easyswoole 搭建简单的Websoket服务
常见的数据通信方式有哪些?
Openssl 1024bit RSA算法---公私钥获取和处
HTTPS协议的密钥交换流程
《小白WEB安全入门》03. 漏洞篇
HttpRunner4.x 安装与使用
2021-07-04
手写RPC学习笔记
K8S高可用版本部署
mySQL计算IP地址范围
上一篇文章      下一篇文章      查看所有文章
加:2022-10-22 21:53:48  更:2022-10-22 21:56:06 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 20:42:10-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码