[大数据]lua、Canal实现广告缓存(1)

1.首页分析

首页门户系统需要展示各种各样的广告数据：如图，以jd为例：

广告数据变更不频繁，可能一天变一次甚至一周变一次，但是首页数据的并发量很高。所以变更频率低的数据，如何提升访问速度？

1.静态页面

2.做缓存

基本的思路如下：

如上图此种方式 简单，直接通过数据库查询数据展示给用户即可，但是通常情况下，首页（门户系统的流量一般非常的高）不适合直接通过mysql数据库直接访问的方式来获取展示。

如下思路：

1.首先访问nginx ，我们可以采用缓存的方式，先从nginx本地缓存中获取，获取到直接响应

2.如果没有获取到，再次访问redis，我们可以从redis中获取数据，如果有 则返回，并缓存到nginx中

3.如果没有获取到,再次访问mysql,我们从mysql中获取数据，再将数据存储到redis中，返回。

而这里面，我们都可以使用LUA脚本嵌入到程序中执行这些查询相关的业务。

2 Lua

2.1 lua是什么

?????Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

2.2 特性

• 支持面向过程编程和函数式编程；
• 自动内存管理；只提供了一种通用类型的表（table），用它可以实现数组，哈希表，集合，对象；
• 语言内置模式匹配；闭包(closure)；函数也可以看做一个值；提供多线程（协同进程，并非操作系统所支持的线程）支持；
• 通过闭包和table可以很方便地支持面向对象编程所需要的一些关键机制，比如数据抽象，虚函数，继承和重载等。

2.3 应用场景

• 游戏开发
• 独立应用脚本
• Web 应用脚本
• 扩展和数据库插件如：MySQL Proxy 和 MySQL WorkBench
• 安全系统，如入侵检测系统
• redis中嵌套调用实现类似事务的功能
• web容器中应用处理一些过滤 缓存等等的逻辑，例如nginx。

2.4 lua的安装

安装步骤,在linux系统中执行下面的命令。

curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz

tar zxf lua-5.3.5.tar.gz

cd lua-5.3.5

make linux test

注意：此时安装，有可能会出现如下错误：

?此时需要安装lua相关依赖库的支持，执行如下命令即可：

yum install libtermcap-devel ncurses-devel libevent-devel readline-devel

此时再执行lua测试看lua是否安装成功，如下图显示安装成功！

?查看lua -v

[root@localhost ~]# lua -v
Lua 5.1.4 ?Copyright (C) 1994-2008 Lua.org, PUC-Rio

2.5 入门程序

创建一个hello.lua文件，随便编写保存

执行命令

[root@localhost lua_test]# lua hello.lua
Hello  A
Hello  B
Hello  C
Hello  D
[root@localhost lua_test]# 

上述属于脚本编程：脚本式编程需要编写脚本，然后再执行命令 执行脚本才可以。

2.6 LUA的基本语法

lua有交互式编程和脚本式编程。

交互式编程就是直接输入语法，就能执行。

脚本式编程需要编写脚本，然后再执行命令 执行脚本才可以。

(1)交互式编程

Lua 提供了交互式编程模式。我们可以在命令行中输入程序并立即查看效果。

Lua 交互式编程模式可以通过命令 lua -i 或 lua 来启用：

(2)脚本式编程

我们可以将 Lua 程序代码保持到一个以 lua 结尾的文件，并执行，该模式称为脚本式编程，例如上面入门程序中将lua语法写到hello.lua文件中。

2.6.1 注释

一行注释：两个减号是单行注释:

--

多行注释：

--[[
 多行注释
 多行注释
 --]]

2.6.2 定义变量

全局变量，默认的情况下，定义一个变量都是全局变量，

如果要用局部变量 需要声明为local.例如：

-- 全局变量赋值
a=1
-- 局部变量赋值
local b=2 

如果变量没有初始化：则 它的值为nil 这和java中的null不同。

[root@localhost ~]# lua
Lua 5.1.4  Copyright (C) 1994-2008 Lua.org, PUC-Rio
> name="高兴"
> local address="西安"
> print(name)
高兴
> print(address)
nil
> 

2.6.3 Lua中的数据类型

Lua 是动态类型语言，变量不要类型定义,只需要为变量赋值。 值可以存储在变量中，作为参数传递或结果返回。

Lua 中有 8 个基本类型分别为：nil、boolean、number、string、userdata、function、thread 和 table。

实例：

print(type("Hello world"))      --> string
print(type(10.4*3))             --> number
print(type(print))              --> function
print(type(type))               --> function
print(type(true))               --> boolean
print(type(nil))                --> nil

2.6.4 流程控制

(1)if语句

Lua?if 语句?由一个布尔表达式作为条件判断，其后紧跟其他语句组成。

语法：

if(布尔表达式)
then
   --[ 在布尔表达式为 true 时执行的语句 --]
end

?例如：

> -- 如果age<18 则输出未成年
> age=16
> if(age<18)
>> then
>> print("小屁孩")
>> end
小屁孩
> age=19
> if(age<18)
>> then
>> print("小屁孩")
>> end
> 

(2)if..else语句

Lua if 语句可以与 else 语句搭配使用, 在 if 条件表达式为 false 时执行 else 语句代码块。

语法：

if(布尔表达式)
then
   --[ 布尔表达式为 true 时执行该语句块 --]
else
   --[ 布尔表达式为 false 时执行该语句块 --]
end

2.6.5 循环

(1)while循环

Lua 编程语言中 while 循环语句在判断条件为 true 时会重复执行循环体语句。
语法：

while(condition)
do
   statements
end

实例：

[root@localhost ~]# lua
Lua 5.1.4  Copyright (C) 1994-2008 Lua.org, PUC-Rio
> a=10
> while(a<20)
>> do
>> print("a的值为：",a)
>> a=a+1
>> end
a的值为：       10
a的值为：       11
a的值为：       12
a的值为：       13
a的值为：       14
a的值为：       15
a的值为：       16
a的值为：       17
a的值为：       18
a的值为：       19
> 

(2)for循环

Lua 编程语言中 for 循环语句可以重复执行指定语句，重复次数可在 for 语句中控制。

语法： 1->10 1:exp1 10:exp2 2:exp3:递增的数量

for var=exp1,exp2,exp3 
do  
    <执行体>  
end  

var 从 exp1 变化到 exp2，每次变化以 exp3 为步长递增 var，并执行一次?“执行体”。exp3 是可选的，如果不指定，默认为1。

例子：

for i=1,9,2? ??i=1从1开始循环，循环数据到9结束，2每次递增2

>for i=1,9,2
>> do
>> print(i)
>> end
1
3
5
7
9
> 

(3)repeat…until语句[==满足条件结束==]

Lua 编程语言中 repeat…until 循环语句不同于 for 和 while循环，for 和 while 循环的条件语句在当前循环执行开始时判断，而 repeat…until 循环的条件语句在当前循环结束后判断。

语法：

repeat
   statements
until( condition )

案例：

> -- 定义变量
> num=5
> -- 循环
> repeat
>> print(num)
>> num=num+1
>> until(num>10)
5
6
7
8
9
10
> 

2.6.6 函数

lua中也可以定义函数，类似于java中的方法。例如：

--[[ 函数返回两个值的最大值 --]]
function max(num1, num2)

   if (num1 > num2) then
      result = num1;
   else
      result = num2;
   end

   return result; 
end
-- 调用函数
print("两值比较最大值为 ",max(10,4))

2.6.7 表

table 是 Lua 的一种数据结构用来帮助我们创建不同的数据类型，如：数组、字典等。

Lua也是通过table来解决模块（module）、包（package）和对象（Object）的。

案例：

-- 初始化表
mytable = {}

-- 指定值
mytable[1]= "Lua"

-- 移除引用
mytable = nil

?

2.6.7 模块

(1)模块定义

模块类似于一个封装库，从 Lua 5.1 开始，Lua 加入了标准的模块管理机制，可以把一些公用的代码放在一个文件里，以 API 接口的形式在其他地方调用，有利于代码的重用和降低代码耦合度。

创建一个文件叫module.lua，在module.lua中创建一个独立的模块，代码如下：

vim module.lua

-- 定义一个名为 module 的模块
 module = {} 
-- 定义一个常量
module.constant = "张三"
-- 定义一个全局方法
function module.func1()
        print("这是一个公有函数") 
end
--定义一个局部方法
local function func2()
        print("这是一个私有函数！")
end
--定义一个全局方法，调用func2()
function module.func3()
        func2()
end
return module
         

?

由上可知，模块的结构就是一个 table 的结构，因此可以像操作调用 table 里的元素那样来操作调用模块里的常量或函数。

上面的 func2 声明为程序块的局部变量，即表示一个私有函数，因此是不能从外部访问模块里的这个私有函数，必须通过模块里的公有函数来调用.

(2)require 函数

require 用于 引入其他的模块，类似于java中的类要引用别的类的效果。

用法：

require("<模块名>")

require "<模块名>"

两种都可以。

我们可以将上面定义的module模块引入使用,创建一个test_module.lua文件，代码如下：

-- test_module.lua 文件
-- module 模块为上文提到到 module.lua
require("module")
--输出module的参数
print(module.constant)
--调用module中的方法1、3
module.func3()
module.func1()

?结果：

[root@localhost lua_test]# lua test_module.lua 
张三
这是一个私有函数！
这是一个公有函数
[root@localhost lua_test]# 

?

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系