IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 从使用elasticsearch做开发,到写elasticsearch源码 -> 正文阅读

[大数据]从使用elasticsearch做开发,到写elasticsearch源码

? 2020.05.06 进入中科院工作,做elasticsearch开发。

? 2022.04.25?晚上十点收拾完东西,正式从中科院“毕业”(离职)。

? 2022.04.26 早上无缝衔接进入新公司办理入职。新公司连工卡都没有,直接刷脸进入。?

? 我实现了从使用elasticsearch开发搜索系统,到写elasticsearch源码的转变。以前是用es,现在是在es的基础上舔砖加瓦,去完善优化它。

谈谈我这两个月的真实感受

? 现在是2022.06.26,这两个月的时间都在适应新的环境,停更整整两个月了!我开始慢慢接收把自己的兴趣当做工作,慢慢的接收更长的工作时间,慢慢的接收较长的通勤时间,慢慢的接收新的工作相处模式。

? 一天全部时间干喜欢的事,是蛮幸福的一件事,但是真的感觉到了一点点疲惫,可能这是一个慢慢适应的过程。两个月了,八点多到家,做完饭,吃完快九点了,第二点八点多还有出门。我一下子不能接收全部时间都拿来搞自己本来的兴趣(elasticsearch)。但是两个月的不输出(写文章),让我感觉到很空虚,不安,不踏实。

? 不过现在好了,重操结业,我又回来了!我准备把之前的flag实现(两年的时间,把elasticsearch的核心部分的每一行代码都看一遍),除此之外,我还想做另外一件事情,在elasticsearch源码的学习过程中,因为没有太多资料,所以感觉学起来很难,主要是需要磨时间。有时候我觉得,以大家的智商,看一遍es源码应该也不难,但是大家做起来可能会比较浪费时间,因为看源码本身就是一个磨时间的事情。我相信大家都能看懂,只是没有时间罢了。为什么关于源码的部分,网上的学习资料很少?难道这真的是一件前不见古人后不见来者的事情吗?不见得,只不过是大家懒得分享罢了。

新的flag

? 我想做一件事,将elasticsearch源码作为我这两年深耕的方向。先自己把源码吃透了,然后去录制一些免费的讲解视频,分享出去。我希望有很多的人能够参与到elasticsearch 的开发中来。我愿意去做一个开拓者,去分享自己的成长经验,我愿意用一偏偏文章,来帮助大家一起熟悉es的源码。我有一个愿望,希望每个人都能在elastic源码中添加一个自己写的小功能。

? 以前我的志向是提升搜索引擎的搜索能力,提升响应速度。我有过两年的使用elasticsearch开发的经验,我有过elasticsearch优化的经历,同时我也带着很多的疑问开始学习elasticsearch源码。我觉得我比别人的优势就是,我带着一堆的问题在前进,我每学到一些内容,都能或多或少的解决一些的的疑问。这给我带来了很多刺激感。

跳槽到新的公司

? 先介绍一下我现在是做 elasticsearch引擎开发的,负责给elasticsearch添加一些新的功能,换句话说,是改elasticsearch源码。这就比较感谢我的组长,他说改源码是最好的熟悉源码的方式。的确是这样,源码你看半天觉得你懂了,你改改试试!一堆问题,一堆和你本来理解不一样的问题。源码其实还是有点晦涩的,主要是别人写的,我觉得这很正常,等你看一段时间,磨一段时间自然而然的就觉得容易了。

? 最近给elasticsearch添加了一个回收站的功能,删除的索引,并没有被物理删除,而是暂存在磁盘上。并且提供了恢复数据的API,查询回收站中索引的API。这个过程中,让我真的熟悉了es的删除索引的源码,我必须将它的处理过程完全吃透,这样才能在它的基础上去修改,和添加新的功能。这个练手的功能,我熟悉了很多:

  • elasticsearch的源码包的结构,每个包里边都是一些什么功能
  • 让我熟悉了elasticsearch的删除索引的逻辑
  • 熟悉了elasticsearch的调用链路,一个rest请求进来以后是如何一步一步的执行并返回结果的。
  • 因为是新加功能,所以要自定义API,这让我知道应该如何条件一个自己的API。
  • 我添加了回收站墓碑,改了elasticsearch的集群元数据结构。
  • 如何在elasticsearch源码中写单元测试。
  • 如何在elasticsearch源码中写集成测试。
  • 如何跑elasticsearch基准测试,性能测试。

? 目前已经完成了回收站新功能的开发,我会将这个开发过程分享出来。我是如何一步一步的去分解中任务并完成开发的,以及遇到了哪些问题,我又是如何一步一步解决的,解决这些问题都需要哪些es源码中的知识点。这些我在做开发的时候都有记录下来,明天下班我再整理一下,分享出来。

??

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-06-26 16:58:01  更:2022-06-26 16:59:48 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 17:10:26-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码