[大数据]Doris查询任务报错failed to initialize storage reader

报错

spark读取Doris表导入hive表 任务报错如下

Caused by: org.apache.doris.spark.exception.DorisInternalException: 
Doris server Doris BE{host='10.105.137.182', port=9060} internal failed, 
status code [INTERNAL_ERROR] error message is [failed to initialize storage reader. 
tablet=404802818.143972036.284b4c29fe956174-4b76f65647c70daa, res=-230, backend=10.105.137.182]

分析

源码分析

be节点

olap_scanner.cpp

Status OlapScanner::open() {
    SCOPED_TIMER(_parent->_reader_init_timer);

    if (_conjunct_ctxs.size() > _direct_conjunct_size) {
        _use_pushdown_conjuncts = true;
    }

    _runtime_filter_marks.resize(_parent->runtime_filter_descs().size(), false);

    auto res = _reader->init(_params);
    if (res != OLAP_SUCCESS) {
        OLAP_LOG_WARNING("fail to init reader.[res=%d]", res);
        std::stringstream ss;
        ss << "failed to initialize storage reader. tablet=" << _params.tablet->full_name()
           << ", res=" << res << ", backend=" << BackendOptions::get_localhost();
        return Status::InternalError(ss.str().c_str());
    }
    return Status::OK();
}

读取数据时失败
BE有两个参数

ignore_rowset_stale_unconsistent_delete

• 类型：bool
• 描述：用来决定当删除过期的合并过的rowset后无法构成一致的版本路径时，是否仍要删除。
• 默认值：false

合并的过期 rowset 版本路径会在半个小时后进行删除。在异常下，删除这些版本会出现构造不出查询一致路径的问题，当配置为false时，程序检查比较严格，程序会直接报错退出。
当配置为true时，程序会正常运行，忽略这个错误。一般情况下，忽略这个错误不会对查询造成影响，仅会在fe下发了合并过的版本时出现-230错误。

其中，半小时指的是这个参数

tablet_rowset_stale_sweep_time_sec
类型：int64
描述：用来表示清理合并版本的过期时间，当当前时间 now() 减去一个合并的版本路径中rowset最近创建创建时间大于tablet_rowset_stale_sweep_time_sec时，对当前路径进行清理，删除这些合并过的rowset, 单位为s。
默认值：1800

也就是说在任务读取Doris过程中，有数据导入这个表，导致compaction后再过了半小时，原来的version被删除了，所以spark读取doris的任务就会报错