[网络协议]HTTP协议和编程实现

1、HTTP协议

http协议是建立在TCP/IP协议之上应用层协议，默认端口为80或者8080
http协议的的特点是无状态，无连接。在访问数据的时候才进行连接，不是长连接。

http协议的报文传输的是ASCII码，在TCP/IP协议之上，主要主要分为三部分
请求行、请求头、请求体

请求行
第一行，包含三个信息：请求方式，url，http协议版本
（在www上，每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL）
GET 请求：请求方式：GET url：/books/?sex=man&name=Professionalhttp协议版本：HTTP/1.1

GET /books/?sex=man&name=Professional HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.6)
Gecko/20050225 Firefox/1.0.1
Connection: Keep-Alive

POST 请求：

POST / HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.6)
Gecko/20050225 Firefox/1.0.1
Content-Type: application/x-www-form-urlencoded
Content-Length: 40
Connection: Keep-Alive

sex=man&name=Professional 

GET请求和POST请求区别：
1、url可见性：
get，参数url可见；
post，url参数不可见

2、数据传输上：
get，通过拼接url进行传递参数；
post，通过body体传输参数

3、缓存性：
get请求是可以缓存的
post请求不可以缓存

4、后退页面的反应
get请求页面后退时，不产生影响
post请求页面后退时，会重新提交请求

5、传输数据的大小
get一般传输数据大小不超过2k-4k（根据浏览器不同，限制不一样，但相差不大）
post请求传输数据的大小根据php.ini 配置文件设定，也可以无限大。

6、安全性
这个也是最不好分析的，原则上post肯定要比get安全，毕竟传输参数时url不可见，但也挡不住部分人闲的没事在那抓包玩。安全性个人觉得是没多大区别的，防君子不防小人就是这个道理。对传递的参数进行加密，其实都一样。

本质区别：
GET产生一个TCP数据包；POST产生两个TCP数据包。
对于GET方式的请求，浏览器会把http header和data一并发送出去，服务器响应200（返回数据）；
而对于POST，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200 ok（返回数据）。

请求头
浏览器向服务器发送一些状态数据，标识数据等等
一个信息一行，包括信息名：信息值 按行分隔

User-Agent: firefox//表示发送请求的浏览器（请求代理端）是firefox
Host: shop.100.com//表示请求的主机域名（基于域名的虚拟主机就是靠这个头判断的）
Cookie:name=itcast//浏览器携带的cookie数据。
Content-Type: application/x-www-form-urlencoded
Content-Length: 40
Connection: Keep-Alive

注意，请求头信息，需要使用一个空行结束！

请求主体
请求代理端项服务器端，发送的请求数据！
典型的就是POST形式发送的表单数据！
get请求，没有请求主体部分！get数据是在请求行中的url上进行传递的！

2、http协议的响应

响应包括：响应行、响应头、响应体

HTTP/1.1 200 0K
Date: Tue，19 Nov 2013 03:08:55 GMT
Server: Apache/2. 2.22 (Win32) PHP/5.3. 13
X- -Powered -By: PHP/5. 3.13
Content-Length: 16
Content- Type: text/html

响应行
响应行包括：协议版本、状态码、状态消息。
协议版本：HTTP/1.1状态码： 200状态消息：OK

典型的：
1xx:消息
2xx:成功
3xx:请求被重定向
4xx:浏览器端错误
5xx:服务器端错误

典型：
500 服务器内部错误
404 请求的页面没有找到
403 没有权限
200 请求成功

响应头：
Content-Type: text/html 内容类型，告知浏览器接下来发送的响应主体数据是什么格式！
Content-Length: 响应主体数据的长度！
Date: 响应的时间。GMT时间！

响应主体
主要的响应数据，在浏览器的主体区域显示的数据都是相应主体！

3、HTTPS协议

http协议是明文传输的，因此很容易被截取和解析，泄漏个人数据。https协议是在http和tcp之间多添加了一层，进行身份验证和数据加密。

HTTPS 原理
客户端将它所支持的算法列表和一个用作产生密钥的随机数发送给服务器

密码学基础
明文： 明文指的是未被加密过的原始数据。
密文：明文被某种加密算法加密之后，会变成密文，从而确保原始数据的安全。密文也可以被解密，得到原始的明文。
密钥：密钥是一种参数，它是在明文转换为密文或将密文转换为明文的算法中输入的参数。密钥分为对称密钥与非对称密钥，分别应用在对称加密和非对称加密上。

对称加密：对称加密又叫做私钥加密，即信息的发送方和接收方使用同一个密钥去加密和解密数据。对称加密的特点是算法公开、加密和解密速度快，适合于对大数据量进行加密，常见的对称加密算法有DES、RC5、3DES、TDEA、Blowfish和IDEA。
其加密过程如下：明文 + 加密算法 + 私钥 => 密文
解密过程如下： 密文 + 解密算法 + 私钥 => 明文
对称加密中用到的密钥叫做私钥，私钥表示个人私有的密钥，即该密钥不能被泄露。

非对称加密：非对称加密也叫做公钥加密。非对称加密与对称加密相比，其安全性更好。对称加密的通信双方使用相同的密钥，如果一方的密钥遭泄露，那么整个通信就会被破解。而非对称加密使用一对密钥，即公钥和私钥，且二者成对出现。私钥被自己保存，不能对外泄露。公钥指的是公共的密钥，任何人都可以获得该密钥。用公钥或私钥中的任何一个进行加密，用另一个进行解密。
被公钥加密过的密文只能被私钥解密，过程如下：
明文 + 加密算法 + 公钥 => 密文， 密文 + 解密算法 + 私钥 => 明文
被私钥加密过的密文只能被公钥解密，过程如下：
明文 + 加密算法 + 私钥 => 密文， 密文 + 解密算法 + 公钥 => 明文
由于加密和解密使用了两个不同的密钥，这就是非对称加密“非对称”的原因。
非对称加密的缺点是加密和解密花费时间长、速度慢，只适合对少量数据进行加密。
在非对称加密中使用的主要算法有：RSA、Elgamal、Rabin、D-H、ECC（椭圆曲线加密算法）等。

4、HTTP编程

1.libcurl简介

libcurl是一个跨平台的网络协议库，支持http, https, ftp, telnet,gopher, dict, file, 和ldap 协议。libcurl同样支持HTTPS证书授权，HTTP POST, HTTP PUT, FTP 上传, HTTP基本表单上传，代理，cookies,和用户认证。
库下载https://github.com/curl/curl/releases/tag/curl-7_71_1
终端解压tar xvf curl -7.71.tar.gz

2.libcurl的使用

调用curl_global_init()初始化libcurl
调用curl_easy_init()函数得到 easy interface型指针
调用curl_easy_setopt()设置传输选项
根据curl_easy_setopt()设置的传输选项，实现回调函数以完成用户特定任务
调用curl_easy_perform()函数完成传输任务
调用curl_easy_cleanup()释放内存

3.基本的http GET/POST操作：
访问百度首页，并返回数据到文件

#include <stdio.h>
#include <curl/curl.h>

#define true 1
#define flase 0
typedef unsigned int bool;//bool型是c++特有的

bool getUrl(char *filename)//GET请求
{
    CURL *curl;
    CURLcode res;
    FILE *fp;
    if ((fp = fopen(filename, "w")) == NULL)  // 返回结果用文件存储
        return false;
    struct curl_slist *headers = NULL;
    headers = curl_slist_append(headers, "Accept: Agent-007");
    curl = curl_easy_init();    // 初始化
    if (curl)
    {
        //curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");// 代理
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);// 改协议头
        curl_easy_setopt(curl, CURLOPT_URL,"http://www.baidu.com");
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp); //将返回的http头输出到fp指向的文件
        curl_easy_setopt(curl, CURLOPT_HEADERDATA, fp); //将返回的html主体数据输出到fp指向的文件
        res = curl_easy_perform(curl);   // 执行
        if (res != 0) {

            curl_slist_free_all(headers);
            curl_easy_cleanup(curl);
        }
        fclose(fp);
        return true;
    }
}

bool postUrl(char *filename)//POST请求
{
    CURL *curl;
    CURLcode res;
    FILE *fp;
    if ((fp = fopen(filename, "w")) == NULL)
        return false;
    curl = curl_easy_init();
    if (curl)
    {
        curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt"); // 指定cookie文件
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, "&logintype=uid&u=xieyan&psw=xxx86");    // 指定post内容
        //curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");
        curl_easy_setopt(curl, CURLOPT_URL, " http://mail.sina.com.cn/cgi-bin/login.cgi ");   // 指定url
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    fclose(fp);
    return true;
}

int main(void)
{
    getUrl("/tmp/get.html");
    postUrl("/tmp/post.html");
}

//1.安装路径配置(configure --prefix=/”的作用是：编译的时候用来指定程序存放路径 )
./configure --prefix=$PWD/_install --with-ssl//当前路径下的_install  --with--ssl  HTTPS 协议是由 SSL+HTTP 协议构建的(需要电脑里有OpenSSL)
获取OpenSSL：wget https://www.openssl.org/source/openssl-1.1.1a.tar.gz
解压到工作目录：tar xvf openssl-1.1.1a.tar.gz
安装： ./configure
		make
		sudo make install
//2.编译
make
//3.安装拷贝
make install
//4.运行
gcc demo1.c -I ./curl-7.71.1/_install/include/ -L ./curl-7.71.1/_install/lib/ -lcurl
           //-I  指定路径找库                   -L 指定路径链接库            -lcurl库编译
//5.环境变量
export LD_LIBRARY_PATH=./curl-7.71.1/_install/lib/
//6
./a.out           

4.函数简介

1）curl_global_init(long flags);
函数只能用一次。(其实在调用curl_global_cleanup 函数后仍然可再用)
如果这个函数在curl_easy_init函数调用时还没调用，它讲由libcurl库自动调用，所以多线程下最好主动调用该函数以防止在线程中curl_easy_init时多次调用。

注意：虽然libcurl是线程安全的，但curl_global_init是不能保证线程安全的，所以不要在每个线程中都调用curl_global_init，应该将该函数的调用放在主线程中。
参数：flags:

CURL_GLOBAL_ALL               //初始化所有的可能的调用。
CURL_GLOBAL_SSL              //初始化支持 安全套接字层。
CURL_GLOBAL_WIN32           //初始化win32套接字库。
CURL_GLOBAL_NOTHING         //没有额外的初始化。

2）curl_easy_init( );
curl_easy_init用来初始化一个CURL的指针(返回FILE类型的指针). 相应的在调用结束时要用curl_easy_cleanup函数清理.
一般curl_easy_init意味着一个会话的开始. 它会返回一个指针easy_handle(CURL*对象),CURL *curl = curl_easy_init() (返回一个句柄)一般都用在easy系列的函数中.

3）curl_easy_setopt(CURL *handle, CURLoption option, parameter);
这个函数最重要了.几乎所有的curl 程序都要频繁的使用它.它告诉curl库.程序将有如何的行为. 比如要查看一个网页的html代码等.(这个函数有些像ioctl函数)参数:

1. CURL类型的指针
2. 各种CURLoption类型的选项.(都在curl.h库里有定义,man 也可以查看到)
3. parameter 这个参数 既可以是个函数的指针,也可以是某个对象的指针,也可以是个long型的变量.它用什么这取决于第二个参数.

CURLoption 这个参数的取值很多.具体的可以查看man手册.

curl_easy_setopt函数部分选项介绍

1、 CURLOPT_URL 设置访问URL

curl_easy_setopt(curl, CURLOPT_URL,"http://www.baidu.com");

2、 CURLOPT_WRITEFUNCTION、CURLOPT_WRITEDATA
回调函数原型为： size_t function(void *ptr, size_t size, size_t nmemb, void *stream);函数将在libcurl接收到数据后被调用，因此函数多做数据保存的功能，如处理下载文件。
CURLOPT_WRITEDATA用于表明CURLOPT_WRITEFUNCTION函数中的stream指针的来源。
如果你没有通过CURLOPT_WRITEFUNCTION属性给easy handle设置回调函数，libcurl会提供一个默认的回调函数，它只是简单的将接收到的数据打印到标准输出。你也可以通过 CURLOPT_WRITEDATA属性给默认回调函数传递一个已经打开的文件指针，用于将数据输出到文件里。

size_t readBuf(void *ptr, size_t size, size_t nmemb, void *stream)
{
	char buf[1024];
	strncpy(buf, ptr, 1024);
	printf("%s\n", buf);
}

curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, readBuf);//获取的数据通过回调函打印出来

3、CURLOPT_HEADERFUNCTION，CURLOPT_HEADERDATA
回调函数原型为 size_t function( void *ptr, size_t size,size_t nmemb, void *stream); libcurl一旦接收到http 头部数据后将调用该函数。CURLOPT_WRITEDATA 传递指针给libcurl，该指针表明CURLOPT_HEADERFUNCTION 函数的stream指针的来源。

4、CURLOPT_READFUNCTION CURLOPT_READDATA
libCurl需要读取数据传递给远程主机时将调用CURLOPT_READFUNCTION指定的函数，函数原型是：size_t function(void *ptr, size_t size, size_t nmemb,void *stream). CURLOPT_READDATA 表明CURLOPT_READFUNCTION函数原型中的stream指针来源。

5、CURLOPT_NOPROGRESS、CURLOPT_PROGRESSFUNCTION、CURLOPT_PROGRESSDATA
跟数据传输进度相关的参数。CURLOPT_PROGRESSFUNCTION 指定的函数正常情况下每秒被libcurl调用一次，为了使CURLOPT_PROGRESSFUNCTION被调用，CURLOPT_NOPROGRESS必须被设置为false，CURLOPT_PROGRESSDATA指定的参数将作为CURLOPT_PROGRESSFUNCTION指定函数的第一个参数

6、CURLOPT_TIMEOUT、CURLOPT_CONNECTIONTIMEOUT:
CURLOPT_TIMEOUT 由于设置传输时间，CURLOPT_CONNECTIONTIMEOUT 设置连接等待时间

7、CURLOPT_FOLLOWLOCATION
设置重定位URL

8、CURLOPT_RANGE: CURLOPT_RESUME_FROM:
断点续传相关设置。CURLOPT_RANGE 指定char *参数传递给libcurl，用于指明http域的RANGE头域，例如：
表示头500个字节：bytes=0-499
表示第二个500字节：bytes=500-999
表示最后500个字节：bytes=-500
表示500字节以后的范围：bytes=500-
第一个和最后一个字节：bytes=0-0,-1
同时指定几个范围：bytes=500-600,601-999
CURLOPT_RESUME_FROM 传递一个long参数给libcurl，指定你希望开始传递的 偏移量。

4)curl_easy_perform(CURL *handle);

在初始化CURL类型的指针 以及curl_easy_setopt完成后调用.
参数: CURL类型的指针.CURLcode res = curl_easy_perform(surl);
该函数是完成curl_easy_setopt指定的所有选项，返回0意味一切ok，非0代表错误发生。主要错误码说明：

1. CURLE_OK
   任务完成一切都好
   2 CURLE_UNSUPPORTED_PROTOCOL
   不支持的协议，由URL的头部指定
   3 CURLE_COULDNT_CONNECT
   不能连接到remote 主机或者代理
   4 CURLE_REMOTE_ACCESS_DENIED
   访问被拒绝
   5 CURLE_HTTP_RETURNED_ERROR
   Http返回错误
   6 CURLE_READ_ERROR
   读本地文件错误

5） void curl_global_cleanup(void);
结束libcurl使用的时候，用来对curl_global_init做的工作清理。类似于close的函数。

注意：虽然libcurl是线程安全的，但curl_global_cleanup是不能保证线程安全的，所以不要在每个线程中都调用curl_global_init，应该将该函数的调用放在主线程中。
学习资料：https://www.cnblogs.com/xietianjiao/p/13260021.html