数据库基础及采集
数据库概述
简介
在管理各项信息工作的过程中产生或需要大量数据，数据库系统更有效存储、和管理日益重要的信息。
各种概念
Data：数据，是数据库中存储的基本对象，是描述事物的符号记录。
Database：数据库，是长期存储在计算机内、有组织的、可共享的大量数据的集合。
DBMS：数据库管理系统，是用户与操作系统之间的一层数据管理软件，主要用于对数据的管理和维护。
DBS：数据库系统，计算机系统引入数据库后的系统。
数据模型：用来抽象、表示、和处理现实世界中的数据和信息的工具，是对现实世界的模拟，是数据库系统的核心和基础。
概念模型：按用户的观点来对数据和信息建模，主要用于数据库设计。
逻辑模型：按计算机系统的观点对数据建模，用于DBMS实现。
物理模型：对数据最底层的抽象，描述数据在系统内部的表示方式和存取方式，在磁盘或磁带上的存储方式和存取方式。
实体和属性：客观存在并可相互区别的事物称为实体。实体所具有的某一特性称为属性。
ER图：实体关系图，描述现实世界的事物及其相互关系。
关系模式：由一组关系组成，每个关系的数据结构是一张规范化的二维表。
型/值：型是对某一类数据的结构和属性的说明，值是型的一个具体赋值，是型的实例。
数据库模式：描述数据库中全体数据的逻辑结构和特征。
数据操作
sql语言的种类
DML：用来插入、修改和删除数据库中的数据（insert into、delete、update）
DDL：用来建立数据库、建立表（create、show、alter table、drop）
DQL：用来对数据库中的数据进行查询（select）
DCL：用来控制数据库组件的存取许可、存取权限
创建索引
概述
索引可以理解为数据的目录，可以大大提高查询速度，改善数据库的性能。
作用
- 加快数据的检索
- 加快表与表之间的连接
- 使用order by和group by时，更大减少查询时间
种类
- 普通索引
- 唯一索引
- 全文索引
- 多列索引
sql语句
create [约束条件] index indexname on tablename(colname/col1,col2)
数据库数据采集
logstash+mysql
mysql准备
在test数据库中创建表，随意添加数据
logstash配置
在logstash的bin目录下，放入mysql-connector-java-5.1.25.jar包。
在logstash的config目录下创建mysql.conf，并添加配置信息。
启动logstash
在logstash的bin目录下，执行logstash -f …/config/logstash.conf启动logstash。
之后logstash会按照配置的执行频率，执行脚本。
|