|
? ? 服务部署: ??
? ? - 服务:服务器程序
? ? - 部署:是把服务器程序部署到IDC中的计算机上让它运行起来，对Internet提供服务
? ? - 流程:编写代码-->编译成可执行的二进制文件-->将二进制文件和其运行所需要的配置打成压缩包-->复制压缩包到IDC机器上 -->解压并启动二进制文件
? ??
? ? 编译打包:?
? ? - 功能: 即把源代码编译成机器码，也有脚本语言不用编译。然后将二进制文件和其运行所需要的配置打成压缩包
? ? - 运行环境异构:?
? ? ? ? 异构: 编译机可能与真正运行代码的机器不同，如linux/windows等操作系统的区别，linux各版本也可能不同，物理机器如CPU架构不同
? ? ? ? 问题: 这导致编译出来的代码在有的机器可以运行，在有的机器上不能运行，甚至运行出错
? ? - 依赖复杂:
? ? ? ? 依赖: 在大项目种，一个应用程序会依赖各种三方库，C++中如动态库，操作系统预状库，java的各种jar包， python的各种模块
? ? ? ? 问题: 运行环境库缺失，库冲突，如依赖了同一个库的不同版本。导致应用程序在开发环境可运行，在线上环境无法运行
? ? - 编译构建速度慢: 大型应用可能编译需要几小时甚至几天
? ??
? ? 包分发:
? ? - 功能: 编译打包后需要把包批量分发到IDC中需要运行服务的机器
? ? - 上传包: 把包上传到IDC的存储上
? ? - 下载包: 每台机器把包从存储中心上拉到本地
? ? - 解压包: 把压缩包解压到指定目录
? ??
? ? 服务更新:
? ? - 停止老服务: 向服务发送停止信号，等其正常退出，超时则强行杀死
? ? - 启动新服务: 运行启动命令，启动解压出来的服务代码
? ? - 滚动更新: 一个服务可能有N台机器。需要一批一批重启。 如果同时全量重启可能导致服务短时间不可用。 同时灰度重启可以验证新代码是否有bug.如果有就不发布剩余服务
? ??
? ? 健康检查:
? ? - 存活检查: 如定时访问服务端口。有时服务进程虽然在，但其实已经无法提供服务
? ? - 自动拉起: 业务进程退出后能自动拉起
? ??
? ? 扩缩容:
? ? - 扩容: 访问客户端增多，如遇节假日，现在有机器无法承载，需要多加一些机器进来，并运行服务
? ? - 缩容: 服务访问洪峰已过，或者业务下滑，机器利用率低，需要缩走部分机器，节省成本
? ? - 自动化: 如配置高min, max,能自动根据服务负载动态扩缩容
? ??
? ? 负载均衡:
? ? - 功能: 服务器可能通过N台服务器构建一个集群对外提供服务，但是对客户端端来说，只认为有一台服务器
? ? - 4层: LVS
? ? - 7层: nginx haproxy?
? ? - DNS: 通过域名实现高可用与负载均衡
? ? - CDN: 通过cdn缓存
? ??
? ? 网络通信:
? ? - 内部服务间: 一组服务器之间需要通信，也可能访问内部其他服务如数据库，配置中心。要打通服务间通信网络
? ? - 客户端可访问: 打通客户端与服务器之间的网络。从Internet到防火墙到IDC内网到docker内
? ? - 长连接: 客户端与服务器长时间保持连接
? ? - pull/push:?
? ? - dns:服务内外dns服务?
? ??
? ? 流量管理:
? ? - 限流: 负载过高时需要限制流量
? ? - 熔断:
? ? - 标记: 对流量打标记
? ? - 定向: 如把满足某条件流量定向到特定服务主机
? ??
? ? 作业类型:
? ? - 无状态常驻集群: 要保证集群机器数量
? ? - 有状态常驻集群: 要保证集群机器数量且需要存储
? ? - 定时作业: 如每日报表，每日训练特征处理
? ? - 守护进程: 如日志集，监控告警
? ? - 批处理临时作业: 如tensorflow训练任务，SQL查询
? ??
? ? 作业执行环境:
? ? - 清空，初始化
? ? - 配置文件
? ? - 环境变量
? ? - 命令行参数
? ? - 外部存储
? ? - 可执行文件
? ??
? ? 资源管理:
? ? - 资源分配: IDC中有大量机器需要根据作业要求分配资源(网络，ip,磁盘，memory,cpu, gpu...)
? ? - 资源回收: 作业结束回收资源
? ? - 分配策略: 可按一定的策略，或者用户自定义策略分配资源
? ? - 优先级: 高优先级作业可以抢占低 优先级作业的资源
? ??
? ? 隔离:
? ? - 不同作业之间 CPU, 网络，磁盘，内存等资源隔离
? ? - 租户隔离
?
? ? UI:
? ? - 易操作的界面
? ? - 可编程的API接口
? ??
? ? 计费: 不同机器，租户，业务，部门，作业的计费
? ? 安全: 不同机器，租户，业务，部门，作业的访问ACL。自身管理权限控制。
? ??
? ? 监控告警:
? ? - 主机指标: CPU, Memory, Disk, I/O等待
? ? - 业务指标: 成功，失败次数频率
? ? - coredump监控: core次数，告警
? ? - 自定义: 业务脚本访问服务，根据返回值打监控和告警
? ??
? ? 日志&Debug:
? ? - 主机日志
? ? - 业务日志
? ? - 日志查询，可视化查询
? ? - core文件保存
? ??
? ? 性能:
? ? - 大规模资源管理
? ? - 大规模作业调度
? ? - 可线性扩展机器提升性能
? ??
? ? 高可用:?
? ? - 自身高可用: 发布系统是会影响到多个作业，多个业务。因此自身高可用十分重要。?
? ? - 不影响业务: 自身发布，或者出Bug尽量不影响业务
? ? - 分区分服分set: 部分失败不影响整个系统
? ??
|