IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> go对接elasticsearch -> 正文阅读

[大数据]go对接elasticsearch

一、elasticserch请求规范 RESTful

1.请求连接url:http://192.168.10.11:9200/<index>/<type>/[<id>]

ip是es服务ip,端口根据服务器默认或其他,

index相当于 mysql的数据库

type相当于mysql的表

id相当于行主键id,id是可选的,es会自动生成

2.请求RestFull风格:http请求(head头:Content-Type:application/json),发送方法

查询: get

新增:put、post

修改:put、post

删除:delete

3.比如我们要存储学生的信息到elasticsearch中,

index----school_1 学校

type----class_1 班级

id---- 学生id

学生信息json格式:

{
    "name":"somebody",
    "age":18,
    "like":"xoxo",
}

http://192.168.10.11:9200/school_1/class_1/1 GET请求:查询某学校某班级一个id为1的学生信息

http://192.168.10.11:9200/school_1/class_1/_search GET请求:查询某学校某班级所有学生的信息

http://192.168.10.11:9200/school_1/class_1/n PUT请求:新增学生 ,需要body传新增的json数据

修改也可以用新增方式请求将数据覆盖达到修改效果。

http://192.168.10.11:9200/school_1/class_1/1 DELETE请求; 删掉一个数据

http://192.168.10.11:9200/school_1/class_1/_search?GET请求:查看某学校某班级所有学生数据

http://192.168.10.11:9200/school_1/class_1/1?_source=name,like??GET请求:查看某个学生名称和喜好

二、elasticsearch返回结果集,各字段代表什么意思

获得的结果需要从这个结构中层层解析获得

"took" : 48,  -------------------->  took表示Elasticsearch执行搜索所用的时间,单位是毫秒。

"timed_out" : false,  --------------->  指示搜索是否超时

"_shards" : { --------------------->  _shards 指示搜索了多少分片,以及搜索成功和失败的分片的计数

    "total" : 1,

    "successful" : 1,

    "skipped" : 0,

    "failed" : 0 

}

"hits" : { ------------------------>  hits 用来实际搜索结果集

      "total" :  -------------------->  本次搜索返回多少条结果

      "max_score": ---------------->  本次搜索中 最大的相关分数

      "hits": [---------------------->  默认查询前10数据  查询完整的数据  以_source降序排序

          {

               "_index": "attacker_log_2019-10",  -------->  索引

               "_type": ---------------------------->  属性

               "_id": ------------------------------>  索引数据id

               "_score":

               "_source": {  ------------------------>  结果原数据

                      "xxxxxx": 

                      "yyyyyy":

                      "zzzzzz": 

               }

          }

      "aggerations": ---------------------------->  查询分类聚合数据

三、golang连接elasticsearch

我服务器装的elasticsearch 版本是 7.x.x版本,所以包是对应v7版本

github.com/olivere/elastic/v7

如下,获得连接服务器的 client实例

package es

import (
	"context"
	"github.com/olivere/elastic/v7"
)

var Client *elastic.Client
var host = "http://192.168.10.11:9200"

//初始化
func InitClient() {
	//errorlog := log.New(os.Stdout, "APP", log.LstdFlags)
	var err error
	//初始化客户端
	Client, err = elastic.NewClient(
		elastic.SetSniff(false),
		elastic.SetURL(host),
		)
	if err != nil {
		panic(err)
	}
	//连接服务测试
	_, _, err = Client.Ping(host).Do(context.Background())
	if err != nil {
		panic(err)
	}
	//fmt.Printf("Elasticsearch returned with code %d and version %s\n", code, info.Version.Number)
	//获取服务端版本号
	_, err = Client.ElasticsearchVersion(host)
	if err != nil {
		panic(err)
	}
	//fmt.Printf("Elasticsearch version %s\n", esversion)
}

四、golang调用进行增删改查

1.定义 数据结构

package main

import (
	"context"
	"encoding/json"
	"es/es"
	"fmt"
	"github.com/olivere/elastic/v7"
	"reflect"
)

var client *elastic.Client
var Index  = "school_1"
var Type  = "class_1"

func init()  {
	es.InitClient() //初始化client
	client = es.Client
}

//Person 数据结构体
type Person struct {
	Name string `json:"name"`
	Age int `json:"age"`
	Like string `json:"like"`
}

2.新增数据

新增的数据可以以结构体方式和json字符串方式,BodyJosn()方法会转接数据

//添加一条数据
func addPerson() {
	//添加数可以用结构体方式和 json字符串方式
	p := Person{"张良",25,"围棋"}
	//p := `{"name":"张良","age":25,"like":"围棋"}`
	put,err := client.Index().Index(Index).Type(Type).Id("1").BodyJson(p).Do(context.Background())
	if err != nil {
		panic(err)
	}
	fmt.Printf("indexed %s --- index %s --- type %s \n",put.Id,put.Index,put.Type)
}
func main() {
	addPerson()
}

?3.根据id获取一条数据

//查找一条数据
func gets() {
	//通过id查找
	get1, err := client.Get().Index(Index).Type(Type).Id("1").Do(context.Background())
	if err != nil {
		panic(err)
	}
	if get1.Found {
		//fmt.Printf("Got document %s in version %d from index %s, type %s\n", get1.Id, get1.Version, get1.Index, get1.Type)
		var p Person
		err := json.Unmarshal(get1.Source, &p) //将结果集中的数据映射到结构体中
		if err != nil {
			fmt.Println(err)
		}
		fmt.Println(p)
		//fmt.Println(string(get1.Source))
	}
}
func main() {
	gets()
}

4.修改一条数据

//修改
func updateP() {
	up,err := client.Update().Index(Index).Type(Type).Id("1").
		Doc(map[string]interface{}{"name":"史泰龙"}).
		Do(context.Background())
	if err != nil {
		panic(err)
	}
	fmt.Printf("indexed %s --- index %s --- type %s \n",up.Id,up.Index,up.Type)
}

func main() {
	updateP()
}

5.删除一条数据

//删除一条
func deleteP() {
	d,err := client.Delete().
		Index(Index).Type(Type).Id("1").Do(context.Background())
	if err != nil {
		panic(err)
	}
	fmt.Printf("indexed %s --- index %s --- type %s \n",d.Id,d.Index,d.Type)
}

func main() {
	deleteP()
}

6.查询所有数据

//查询所有数据
func query2() {
	var res *elastic.SearchResult
	var err error
	res,err = client.Search(Index).Type(Type).Do(context.Background())
	if err != nil {
		panic(err)
	}
	num := res.Hits.TotalHits.Value //搜索到结果总条数
	if num > 0 {
		for _,hit := range res.Hits.Hits {
			var p Person
			err = json.Unmarshal(hit.Source,&p)
			if err != nil {
				panic(err)
			}
			fmt.Printf(" name : %s --- age : %d --- like : %s",p.Name,p.Age,p.Like)
		}
	}
}
func main() {
	query2()
}

7,条件查询,某个字段包含某个词的数据

//条件查询多条数据,某个字段包含某个词
func query3() {
	var res *elastic.SearchResult
	var err error
	q := elastic.NewQueryStringQuery("name:张")
	res,err = client.Search(Index).Type(Type).Query(q).Do(context.Background())
	if err != nil {
		panic(err)
	}
	num := res.Hits.TotalHits.Value //搜索到结果总条数
	if num > 0 {
		for _,hit := range res.Hits.Hits {
			var p Person
			err = json.Unmarshal(hit.Source,&p)
			if err != nil {
				panic(err)
			}
			fmt.Printf(" name : %s --- age %d \n",p.Name,p.Age)
		}
	}
}
func main() {
	query3()
}

8.多条件查询,某字段包含某词且年龄小于32的

//带条件的查询多条数据
func query4() {
	var res *elastic.SearchResult
	var err error
	q := elastic.NewBoolQuery()
	q.Must(elastic.NewMatchQuery("name","张"))
	q.Filter(elastic.NewRangeQuery("age").Lt(32)) //小于30岁
	res,err = client.Search(Index).Type(Type).Query(q).Do(context.Background())
	if err != nil {
		panic(err)
	}
	num := res.Hits.TotalHits.Value //搜索到结果总条数
	if num > 0 {
		for _,hit := range res.Hits.Hits {
			var p Person
			err = json.Unmarshal(hit.Source,&p)
			if err != nil {
				panic(err)
			}
			fmt.Printf(" name : %s --- age %d \n",p.Name,p.Age)
		}
	}
}

func main() {
	query4()
}

9.某字段包含某词的

//查询某字段中包含 xxx词的数据
func query5() {
	var res *elastic.SearchResult
	var err error
	q := elastic.NewMatchPhraseQuery("name","仪")
	res,err = client.Search(Index).Type(Type).Query(q).Do(context.Background())
	if err != nil {
		panic(err)
	}
	num := res.Hits.TotalHits.Value //搜索到结果总条数
	if num > 0 {
		for _,hit := range res.Hits.Hits {
			var p Person
			err = json.Unmarshal(hit.Source,&p)
			if err != nil {
				panic(err)
			}
			fmt.Printf(" name : %s --- age %d \n",p.Name,p.Age)
		}
	}
}

func main() {
	query5()
}

10,分页查询

//分页
func query6(size int,page int) {
	var res *elastic.SearchResult
	var err error
	res,err = client.Search(Index).Type(Type).Size(size).From((page-1)*size).Do(context.Background())
	if err != nil {
		panic(err)
	}
	num := res.Hits.TotalHits.Value //搜索到结果总条数
	if num > 0 {
		for _,hit := range res.Hits.Hits {
			var p Person
			err = json.Unmarshal(hit.Source,&p)
			if err != nil {
				panic(err)
			}
			fmt.Printf(" name : %s --- age %d \n",p.Name,p.Age)
		}
	}
}

func main() {
	query6(2,1)
}
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-04 12:18:09  更:2022-04-04 12:19:43 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:34:50-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码