服务端篇
一、准备环境
tomcat
mysql
jdk8
美团cat源码包?cat源码 https://github.com/dianping/cat
二、开整
一直在美团内部使用cat，十分便捷，这次单位内部要使用，拿来研究一番。其实Cat在GitHub上的部署文档已经比较详细了，如果是单机只需要部署一台即可。
步骤1： 服务器创建目录
mkdir /data
chmod -R 777 /data/
mkdir -p /data/appdatas/cat/
步骤2： 服务器创建文件
cd /data/appdatas/cat/
vim client.xml
将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口，不允许修改，http-port是Tomcat启动的端口，默认是8080，建议使用默认端口
<?xml version="1.0" encoding="utf-8"?>
<config mode="client">
<servers>
<server ip="10.1.1.1" port="2280" http-port="8080"/>
<server ip="10.1.1.2" port="2280" http-port="8080"/>
<server ip="10.1.1.3" port="2280" http-port="8080"/>
</servers>
</config>
vim datasources.xml
将下列配置复制到datasources.xml中，注意修改自己的地址
集群模式每台CAT集群10.1.1.1，10.1.1.2，10.1.1.3都需要部署此文件
<?xml version="1.0" encoding="utf-8"?>
<data-sources>
<data-source id="cat">
<maximum-pool-size>3</maximum-pool-size>
<connection-timeout>1s</connection-timeout>
<idle-timeout>10m</idle-timeout>
<statement-cache-size>1000</statement-cache-size>
<properties>
<driver>com.mysql.jdbc.Driver</driver>
<url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url> <!-- 请替换为真实数据库URL及Port -->
<user>root</user> <!-- 请替换为真实数据库用户名 -->
<password>root</password> <!-- 请替换为真实数据库密码 -->
<connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
</properties>
</data-source>
</data-sources>
步骤3：数据库配置
创建cat数据库
注意1：一套独立的CAT集群只需要一个数据库（之前碰到过个别同学在每台cat的服务端节点都安装了一个数据库）
注意2：数据库编码使用utf8mb4，否则可能造成中文乱码等问题
create database cat charset utf8mb4 collate utf8mb4_general_ci;
刷入表信息?cat建表语句
步骤4：打war包
源码打包
在cat的源码目录，执行mvn clean install -DskipTests
注意: 打出来的jar包重命名为cat.war进行部署，此war是用jdk8，服务端请使用jdk8版本
步骤5：war包部署
将war包扔到10.1.1.1的tomcat的webapps目录下，启动tomcat即可
访问?http://10.1.1.1:8080/cat/s/config?op=routerConfigUpdate
默认用户名:admin
默认密码:admin
继续将war包扔到10.1.1.2，10.1.1.3中，启动tomcat
步骤6：服务器配置
配置链接：http://{ip:port}/cat/s/config?op=serverConfigUpdate
说明：这个只需要更新一次，配置是保存在mysql的数据库里面。
CAT节点职责
控制台 - 提供给业务人员进行数据查看【默认所有的cat节点都可以作为控制台，不可配置】
消费机 - 实时接收业务数据，实时处理，提供实时分析报表【默认所有的cat节点都可以作为消费机，不可配置】
告警端 - 启动告警线程，进行规则匹配，发送告警（目前仅支持单点部署）【可以配置】
任务机 - 做一些离线的任务，合并天、周、月等报表 【可以配置】
集群配置
线上做多集群部署，假设有10.1.1.1，10.1.1.2，10.1.1.3这三台机器
建议选取一台或多台机器负责角色有控制台、告警端、任务机，例如10.1.1.1。
配置域名访问CAT，该域名关联至10.1.1.1。
10.1.1.2，10.1.1.3 负责消费机处理，这样能做到有效隔离，任务机、告警等问题不影响实时数据处理
remote-servers 这个一定要配置正确，端口号为8080，这里面的remote-servers为10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080
完成以上步骤，重启下当前CAT节点
配置的sample如下： id="default"是默认的配置信息，server id="10.1.1.1" 如下的配置是表示10.1.1.1这台服务器的节点配置覆盖default的配置信息，比如下面的job-machine，alarm-machine，send-machine为true。
<?xml version="1.0" encoding="utf-8"?>
<server-config>
<server id="default">
<properties>
<property name="local-mode" value="false"/>
<property name="job-machine" value="false"/>
<property name="send-machine" value="false"/>
<property name="alarm-machine" value="false"/>
<property name="hdfs-enabled" value="false"/>
<property name="remote-servers" value="10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080"/>
</properties>
<storage local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
<hdfs id="logview" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/logview"/>
<hdfs id="dump" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/dump"/>
<hdfs id="remote" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/remote"/>
</storage>
<consumer>
<long-config default-url-threshold="1000" default-sql-threshold="100" default-service-threshold="50">
<domain name="cat" url-threshold="500" sql-threshold="500"/>
<domain name="OpenPlatformWeb" url-threshold="100" sql-threshold="500"/>
</long-config>
</consumer>
</server>
<server id="10.1.1.1">
<properties>
<property name="job-machine" value="true"/>
<property name="alarm-machine" value="true"/>
<property name="send-machine" value="true"/>
</properties>
</server>
</server-config>
请注意：当一个机器角色更改后，请重启该机器！
server模型：代表一台机器的配置。如果id为default，代表默认配置；如果id为ip，代表该台服务器的配置
* property local-mode : 定义服务是否为本地模式（开发模式），在生产环境时，设置为false,启动远程监听模式。默认为 false;
* property hdfs-machine : 定义是否启用HDFS存储方式，默认为 false；
* property job-machine : 定义当前服务是否为报告工作机（开启生成汇总报告和统计报告的任务，只需要一台服务机开启此功能），默认为 false；
* property alarm-machine : 定义当前服务是否为报警机（开启各类报警监听，只需要一台服务机开启此功能），默认为 false；
* property send-machine : 定义当前服务告警是否发送（当时为了解决测试环境开启告警线程，但是最后告警不通知，此配置后续会逐步去除，建议alarm-machine开启为true的时候，这个同步为true）
storage模型: 定义数据存储配置信息
* property local-report-storage-time : 定义本地报告存放时长，单位为（天）
* property local-logivew-storage-time : 定义本地日志存放时长，单位为（天）
* property local-base-dir : 定义本地数据存储目录，此目录为上传到HDFS时所查找的源文件路径
* property hdfs : 定义HDFS配置信息，便于直接登录系统
* property server-uri : 定义HDFS服务地址，支持配置Nameservice
* property console : 定义服务控制台信息
* property remote-servers : 定义HTTP服务列表，（远程监听端同步更新服务端信息即取此值）
* ldap : 定义LDAP配置信息（这个可以忽略）
* ldapUrl : 定义LDAP服务地址（这个可以忽略）
步骤7： 重启不影响数据可用性
单机模式部署可略过此步骤，线上环境使用建议配置。
请在tomcat重启之前调用当前tomcat的存储数据的链接 http://${ip}:8080/cat/r/home?op=checkpoint，重启之后数据会恢复。【注意重启时间在每小时的整点10-55分钟之间】
线上部署时候，建议把此链接调用存放于tomcat的stop脚本中，这样不需要每次手工调用
客户端篇
步骤1： 客户端机器创建文件
mkdir /data
chmod -R 777 /data/
mkdir -p /data/appdatas/cat/
cd /data/appdatas/cat/
vim client.xml
将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口，不允许修改，http-port是Tomcat启动的端口，默认是8080，建议使用默认端口
<?xml version="1.0" encoding="utf-8"?>
<config mode="client">
<servers>
<server ip="10.1.1.1" port="2280" http-port="8080"/>
<server ip="10.1.1.2" port="2280" http-port="8080"/>
<server ip="10.1.1.3" port="2280" http-port="8080"/>
</servers>
</config>
步骤2： 项目配置
引入jar包
<dependency>
<groupId>com.dianping.cat</groupId>
<artifactId>cat-core</artifactId>
<version>3.0.0</version>
<exclusions>
<exclusion>
<artifactId>cat-client</artifactId>
<groupId>com.dianping.cat</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.dianping.cat</groupId>
<artifactId>cat-client</artifactId>
<version>3.0.0</version>
</dependency>
步骤3： 添加appkey
在resources中创建META-INF目录，在此目录下创建app.properties,在此文件写入
后面名称随意制定
app.name=com.dianping.sqldemo
步骤4： 服务端配置项目名称
步骤5： 打点上送
示例:打点Transaction、event
@Test
public void aaa() throws Exception {
Transaction t = Cat.newTransaction("URL", "demo");
Cat.logEvent("dddd", "ccccc", Event.SUCCESS, "ip=${serverIp}");
t.complete();
Cat.logEvent("aaaaaaa", "hfkjahsfjkahds", Event.SUCCESS, "ip=${serverIp}");
System.out.println("${serverIp}");
Thread.sleep(1000);
}
注意:数据更新非常慢，可能需要1个小时。
具体打点规则请参考?cat客户端打点
步骤6： 登录服务端，查看打点是否上送成功
在spring项目中使用拦截器打点
- ? ? 配置app.name
src/resources/spring/spring-mvc.xml 增加
? ? <context:component-scan base-package="com.example"> ? ? ? ? <context:include-filter type="annotation" expression="org.springframework.stereotype.Controller"/> ? ? </context:component-scan> - ? ? 拦截器类
import com.dianping.cat.Cat; import com.dianping.cat.message.Message; import com.dianping.cat.message.Transaction; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.web.servlet.HandlerInterceptor; import org.springframework.web.servlet.ModelAndView; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; public class CatInterceptor implements HandlerInterceptor { private static final Logger logger = LoggerFactory.getLogger(CatInterceptor.class); private ThreadLocal<Transaction> tranLocal = new ThreadLocal<Transaction>(); private ThreadLocal<Transaction> pageLocal = new ThreadLocal<Transaction>(); @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) { try { String uri = request.getRequestURI(); Transaction t = Cat.newTransaction("URL", uri); Cat.logEvent("URL.Method", request.getMethod(), Message.SUCCESS, request.getRequestURL() .toString()); Cat.logEvent("URL.Host", request.getMethod(), Message.SUCCESS, request.getRemoteHost()); tranLocal.set(t); } catch (Exception e) { logger.error("preHandle error,", e); } return true; } @Override public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception { try { String viewName = modelAndView != null ? modelAndView.getViewName() : "无"; Transaction t = Cat.newTransaction("View", viewName); pageLocal.set(t); } catch (Exception e) { logger.error("postHandle error,", e); } } @Override public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception { try { // 请求-页面渲染前 Transaction pt = pageLocal.get(); pt.setStatus(Transaction.SUCCESS); pt.complete(); // 总计 Transaction t = tranLocal.get(); t.setStatus(Transaction.SUCCESS); t.complete(); } catch (Exception e) { logger.error("afterCompletion error,", e); } } } - 本机目录增加配置文件
在/data/appdatas/cat/client.xml 增加，其中server ip修改为cat服务器地址
<?xml version="1.0" encoding="utf-8"?> <config mode="client"> ? ? <servers> ? ? ? ? <server ip="172.30.1.25" port="2280" http-port="8100"/> ? ? </servers> </config>
总结
? ? ? ? cat貌似2018年官方就已经停止更新了，相比elk架构来说，不解耦。输入代码侵入式监控。整体无用功能多，报表可定制性非常弱，还是老老实实用elk吧。
附件
? ? springmvc使用demo下载，?https://download.csdn.net/download/robinhunan/84392017。