IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> 1.ftp 数据采集模块 -> 正文阅读

[系统运维]1.ftp 数据采集模块


??ftp 数据采集模块主要是使用封装好的 Cftp类写的客户端程序从服务器将数据采集回来。Cftp类是在 ftplib开源库的基础上做的二次封装。

??使用 ftp 进行开发前,先对ftp 进行简单的了解。

一、ftp 协议简单介绍

??ftp(File Transfer Protocol文件传输协议)是基于TCP/IP 协议的应用层协议,用于文件的传输,包括ftp服务器(或服务端)和ftp客户端。

ftp客户端与服务器创建网络连接,请求登录服务器,登录成功后,就可以进行文件传输,主要包括下载文件和上传文件两种操作。

ftp协议很古老,但是,ftp的应用场景仍非常广泛,这是不争的事实。

在Linux系统中,ftp客户端和ftp服务器是操作系统自带的,但不一定会缺省安装。

1、主动模式和被动模式

??ftp有两种模式,分别是port模式(主动模式)和pasv模式(被动模式)。主动模式是客户端先打开一个数据端口传输数据,服务端主动向这个端口发起连接。被动模式是服务端打开一个数据端口传输数据,客户端向这个端口发起连接。连接成功后开始传输文件。

但是无论是主动模式和被动模式,客户端都是在服务端的21端口发送ftp命令的。

1.1、主动模式

??客户端给服务端的21端口发命令说:我要输传文件,我已经打开了自己的20端口,您向我的20端口发起TCP连接,我们来传输文件。服务端知道后,就会主动向客户端的20端口发起连接,连接成功后开始传输文件。

主动模式发数据时,是服务端向客户端的端口发起连接
在这里插入图片描述

1.2、被动模式

??客户端给服务器端的21端口发命令说:我要传输文件。服务器端知道后打开一个空闲的高端口,然后告诉客户端,我已经打开了某某端口,您向我这个端口发起TCP连接,然后我们用这个端口来传输文件。在被动模式下,不管是ftp命令,还是传输数据,都是由客户端向服务端发起TCP连接
在这里插入图片描述

1.3、从主动模式到被动模式

??在很久以前每台电脑都有一个ip地址,ftp只有主动模式,后来出现了共享上网技术,所以也就有了下面的问题。

??共享上网就是多台电脑共享一个公网ip去使用internet,例如某个局域网出口的公网ip是210.33.25.108,当内网用户(192.168.1.100)访问外网的ftp服务器时,如果采用主动模式,192.168.1.100告诉了ftp服务器我需要某个文件和我打开了20端口之后,由于共享上网的原因,192.168.1.100在出网关的时候ip已经被转换成了210.33.25.108,所以ftp服务器端收到的消息是210.33.25.108需要某个文件并打开了20端口,ftp服务器就会尝试连接210.33.25.108的20端口,这样当然不会成功。(内网用户ip地址就像是一个小村庄,外网ip地址就像是一个市。)

??在主动模式中,ftp的两个端口是相对固定的,如果命令端口是n的话,那数据端口就是n-1,也就是说默认情况下,命令端口是21,数据端口就是20,如果您把ftp服务的端口改成了521,那么数据端口就是520,这样配置防火墙很方便,只需要开通两个端口就可以了。但是,在共享上网的环境中无法使用主动模式。

??在被动模式中,默认情况下命令端口是21,数据端口是随机分配的。但是,被动模式中数据端口的范围可以配置,防火墙也可以配置端口范围。

二、ftp 命令

1、登录服务器

方法一:输入ftp 服务器ip地址,回车后根据提示输入用户名和密码,如下图:

在这里插入图片描述

方法二:输入ftp,用open 服务器ip地址,连上服务器后再输入用户名和密码,如下图:

在这里插入图片描述

方法三:输入ftp -n 服务器ip地址,再输入user 用户名 密码登录,如下图:

在这里插入图片描述

2、切换工作目录

注意,如果目录名中有特殊符号,如空格,可以用双引号把目录名包含起来。

2.1、查看服务器工作目录


pwd

2.2、切换服务器工作目录


cd 目录名

2.3、切换本地工作目录


lcd 目录名

3、查看服务器上的目录和文件

============================

3.1、列出目录或文件名的详细信息


ls  目录或文件名
dir 目录或文件名

ls和dir都可以用于查看目录和文件信息,常用ls,语法和Linux的ls命令相同。

在这里插入图片描述

3.2、仅列出目录和文件名


nlist 目录或文件名 [本地文件名]

1)列出/freecplus目录下的匹配*.h的文件名信息。

在这里插入图片描述

2)列出/freecplus目录下的匹配*.h的文件名信息,结果输出到本地的/tmp/freecplus.list文件中。

在这里插入图片描述

查看/tmp/freecplus.list内容。

在这里插入图片描述

4、下载/上传文件

==================

4.1、文件传输入的模式


ftp的传输模式分为二进制和ASCII码两种模式,二进制模式可以传输任何文件,包括压缩包、可执行程序、图片、视频、音频等,而ASCII模式只能传输.txt、.htm等ascii码文件(文本文件)。在实际开发中,不管什么文件,都用二进制方式传输文件。

1)查看当前的传输模式。

type

2)设定传输模式为二进制。

bin

3)设定传输模式为ASCII。

ascii

示例:

在这里插入图片描述

4.2、下载文件


1)下载单个文件。

get/recv 服务器文件名 [本地文件名]

使用说明:

a)下载文件用get和recv都可以。

b)文件名不允许用通配符。

c)服务器文件名和本地文件名可以用绝对路径,如果不写路径,表示当前工作目录。

d)如果本地文件名省略不写,表示把服务器文件下载到本地的当前工作目录,文件名与服务器文件名相同。

2)下载多个文件。

mget 服务器文件1 服务器文件2 服务器文件3 …… 服务器文件n

使用说明:

a)待下载的文件名,可以一一列出来(用空格分隔),也可以用通配符。

b)下载的文件,存放在本地当前工作目录中。

c)下载文件时,会一一提示,如果想关闭都显示信息,先输入prompt命令。

prompt

4.3、上传文件


1)上传单个文件。

put/send 本地文件名 [服务器文件名]

a)上传文件用put和send都可以。

b)文件名不允许用通配符。

c)本地文件名和服务器文件名可以用绝对路径,如果不写路径,表示当前工作目录。

d)如果服务器文件名省略不写,表示把本地文件上传到服务器的当前工作目录,文件名与本地文件名相同。

2)上传多个文件。

mput 本地文件1 本地文件2 本地文件3 …… 本地文件n

使用说明:

a)待上传的文件名,可以一一列出来(用空格分隔),也可以用通配符。

b)上传的文件,存放在服务器当前工作目录中。

c)上传文件时,会一一提示,如果想关闭都显示信息,先输入prompt命令。

prompt

5、其它ftp命令

================

1)重命名服务器上的文件

rename 旧文件名 新文件名

2)删除ftp服务器上单个文件

delete 文件名

3)删除多个文件。

mdelete 文件名1 文件名2 文件名3 …… 文件名n

4)在服务器上创建目录。

mkdir pathname

5)删除服务器上的目录。

rmdir pathname

6)切换传输模式。

passive

7)显示帮助信息。

help [命令名]

显示ftp命令的帮助信息,如果不输入命令名,则显示全ftp命令的帮助信息。

8)退出ftp。

bye

三、使用 ftp 协议开发的客户端程序

??ftp客户端程序主要的目的是从服务端下载数据或者上传数据。首先要了解 ftp从服务端获取数据的基本流程。

1.ftp 下载服务器数据的流程

??(1)登录 ftp 服务器,用户名和密码

??(2)选择主动模式或者被动模式,一般是被动模式

??(3)找到要下载数据的路径,也就是要切换服务器的工作目录

??(4)切换了工作目录,如果有多种数据类型,匹配自己要找的数据类型,比如说我要下载 .txt 类型,就匹配 .txt 类型文件

??(5)执行下载命令下载自己想要的数据

??(6)指定存放数据的本地路径

??(7)检查是否下载成功,将已经下载的文件的文件名放到本地指定文件中。

??所以程序的参数应该包含前面的流程需求:
在这里插入图片描述

2.实现增量下载服务器数据的功能

??增量采集:采集过的文件不再采集,缓解网络压力。实现这个功能要解决的一个重点是:如何知道哪些文件已经被采集,哪些没有被采集,要将他们区分开来。

??(1)这里采用的办法是每次采集数据之前,都要把指定的服务端目录下的文件名,写到客户端的一个文件中,称为要采集文件。

??(2)当从服务端下载了一个文件到客户端,就将这个文件名写到客户端的一个文件中,称为已下载文件。

??(3)当选择了增量采集模式,就把要采集文件的内容导入程序中的要采集容器中,这个步骤要把文件筛选,就是文件有很多种,只要本次 要下载的文件格式。把已经下载文件内容导入已经下载容器中。

??(4)然后比较这两个容器,如果要采集容器中有的文件(其实是文件名和文件最后修改时间),而已经下载容器中没有,就说明本次任务要下载。就把这个文件放到另一个容器中。

3.保证下载文件的完整性措施

??凡是涉及到文件传输的步骤,都要考虑到文件传输后的完整性。导致文件不完整的两个常见的现象:(1)服务端还没有写完文件,客户端就已经下载了;(2)传输过程中,由于网络异常等原因导致

详细文章:https://blog.csdn.net/qq_43403759/article/details/115421725

3.1 服务端未写完文件就客户端就下载

??这个现象比较少见,但是不排除会出现。解决的办法:

给没写完(正在写)的文件加上没有写完的标识(后缀)。比如说要将一批数据写入aaa.txt,在没有写完之前命名为 aaa.txt.tmp,写完了之后重命名为 aaa.txt。客户端指定了要下载的文件格式,下载文件的时候只下载那些完整的文件(比如说文件后缀名为 .txt),不完整的就不获取(比如说 .tmp 的文件后缀名)。

??上面的步骤就已经封装在函数里面了。

3.2 由于传输过程出错导致不完整

??从服务端下载文件,从客户端上传文件到服务端。这两个操作在封装的Cftp类中,分别是get() 函数和 put() 函数。

??为了保证在传输过程中文件的完整性,在这个两个函数的参数中加了一个参数,get()函数加了核对传输前后时间,put() 函数加了核对传输前后文件大小

(1)get()

??在文件传输之前,获取文件内容的最后修改时间,传输了之后再获取文件的最后的修改时间。对比这两个时间如果不相同,就说明源文件传输完之后被修改了,与传输的目标文件已经不同了,那么我得到这个被修改过后的文件后要丢弃。
??为什么不核对大小呢?文件内容改变了大小不一定变,但文件内容的最后修改时间一定变。

(2)put()

??这个不用核对时间,因为客户端传输文件给另一端之前都会保证文件是正确的完整的,不会是中间状态的文件,传输的是准备好的文件。所以核对传输前后的文件大小就可以了。

四、封装的 Cftp 类

class Cftp
{
public:
  netbuf *m_ftpconn;   // ftp连接句柄。
  unsigned int m_size; // 文件的大小,单位:字节。
  char m_mtime[21];    // 文件的修改时间,格式:yyyymmddhh24miss。

  // 以下三个成员变量用于存放login方法登录失败的原因。
  bool m_connectfailed;    // 连接失败。
  bool m_loginfailed;      // 登录失败,用户名和密码不正确,或没有登录权限。
  bool m_optionfailed;     // 设置传输模式失败。

  Cftp();  // 类的构造函数。
 ~Cftp();  // 类的析构函数。

  void initdata();   // 初始化m_size和m_mtime成员变量。

  // 登录ftp服务器。
  // host:ftp服务器ip地址和端口,中间用":"分隔,如"192.168.1.1:21"。
  // username:登录ftp服务器用户名。
  // password:登录ftp服务器的密码。
  // imode:传输模式,FTPLIB_PASSIVE是被动模式,FTPLIB_PORT是主动模式,缺省是被动模式。
  bool login(const char *host,const char *username,const char *password,const int imode=FTPLIB_PASSIVE);
  
  // 注销。
  bool logout();

  // 获取ftp服务器上文件的时间。
  // remotefilename:待获取的文件名。
  // 返回值:false-失败;true-成功,获取到的文件时间存放在m_mtime成员变量中。
  bool mtime(const char *remotefilename);

  // 获取ftp服务器上文件的大小。
  // remotefilename:待获取的文件名。
  // 返回值:false-失败;true-成功,获取到的文件大小存放在m_size成员变量中。
  bool size(const char *remotefilename);

  // 改变ftp服务器的当前工作目录。
  // remotedir:ftp服务器上的目录名。
  // 返回值:true-成功;false-失败。
  bool chdir(const char *remotedir);

  // 在ftp服务器上创建目录。
  // remotedir:ftp服务器上待创建的目录名。
  // 返回值:true-成功;false-失败。
  bool mkdir(const char *remotedir);

  // 删除ftp服务器上的目录。
  // remotedir:ftp服务器上待删除的目录名。
  // 返回值:true-成功;false-失败。
  bool rmdir(const char *remotedir);

  // 发送NLST命令列出ftp服务器的目录和文件名。
  // remotedir:ftp服务器的目录名。
  // listfilename:用于保存从服务器返回的目录和文件名列表。
  // 返回值:true-成功;false-失败。
  // 注意:如果列出的是ftp服务器当前目录,remotedir用"","*","."都可以,但是,不规范的ftp服务器可能有差别。
  bool nlist(const char *remotedir,const char *listfilename);

  // 从ftp服务器上获取文件。
  // remotefilename:待获取ftp服务器上的文件名。
  // localfilename:保存到本地的文件名。
  // bCheckMTime:文件传输完成后,是否核对远程文件传输前后的时间,保证文件的完整性。
  // 返回值:true-成功;false-失败。
  // 注意:文件在传输的过程中,采用临时文件命名的方法,即在localfilename后加".tmp",在传输
  // 完成后才正式改为localfilename。
  bool get(const char *remotefilename,const char *localfilename,const bool bCheckMTime=true);

  // 向ftp服务器发送文件。
  // localfilename:本地待发送的文件名。
  // remotefilename:发送到ftp服务器上的文件名。
  // bCheckSize:文件传输完成后,是否核对本地文件和远程文件的大小,保证文件的完整性。
  // 返回值:true-成功;false-失败。
  // 注意:文件在传输的过程中,采用临时文件命名的方法,即在remotefilename后加".tmp",在传输
  // 完成后才正式改为remotefilename。
  bool put(const char *localfilename,const char *remotefilename,const bool bCheckSize=true);

  // 删除ftp服务器上的文件。
  // remotefilename:待删除的ftp服务器上的文件名。
  // 返回值:true-成功;false-失败。
  bool ftpdelete(const char *remotefilename);

  // 重命名ftp服务器上的文件。
  // srcremotefilename:ftp服务器上的原文件名。
  // dstremotefilename:ftp服务器上的目标文件名。
  // 返回值:true-成功;false-失败。
  bool ftprename(const char *srcremotefilename,const char *dstremotefilename);

  /* 以下三个方法如果理解不了就算了,可以不启用。 */
  // 发送LIST命令列出ftp服务器目录中的文件。
  // 参数和返回值与nlist方法相同。
  bool dir(const char *remotedir,const char *listfilename);

  // 向ftp服务器发送site命令。
  // command:命令的内容。
  // 返回值:true-成功;false-失败。
  bool site(const char *command);

  // 获取服务器返回信息的最后一条(return a pointer to the last response received)。
  char *response();
};

五、ftp 下载客户端

头文件的获取方式:在freecplus框架里面https://www.freecplus.net/index.html

#include "_public.h"
#include "_ftp.h"

struct st_arg
{
  char host[51];
  int  mode;
  char username[31];
  char password[31];
  char localpath[301];
  char remotepath[301];
  char matchname[301];
  int  ptype;
  char remotepathbak[301];
  char listfilename[301];
  char okfilename[301];
  int  timetvl;
} starg;

Cftp ftp;
CLogFile logfile;

// 本程序的业务流程主函数
bool _ftpgetfiles();

vector<struct st_fileinfo> vlistfile,vlistfile1;
vector<struct st_fileinfo> vokfilename,vokfilename1;

// 把nlist方法获取到的list文件加载到vlistfile容器中
bool LoadListFile();

// 把okfilename文件内容加载到vokfilename容器中
bool LoadOKFileName();

// 把vlistfile容器中的文件与vokfilename容器中文件对比,得到两个容器
// 一、在vlistfile中存在,并已经采集成功的文件vokfilename1
// 二、在vlistfile中存在,新文件或需要重新采集的文件vlistfile1
bool CompVector();

// 把vokfilename1容器中的内容先写入okfilename文件中,覆盖之前的旧okfilename文件
bool WriteToOKFileName();

// 如果ptype==1,把采集成功的文件记录追加到okfilename文件中
bool AppendToOKFileName(struct st_fileinfo *stfileinfo);

void EXIT(int sig);

// 显示程序的帮助
void _help(char *argv[]);
  
// 把xml解析到参数starg结构中
bool _xmltoarg(char *strxmlbuffer);

int main(int argc,char *argv[])
{
  if (argc!=3) { _help(argv); return -1; }

  // 关闭全部的信号和输入输出
  CloseIOAndSignal();

  // 处理程序退出的信号
  signal(SIGINT,EXIT); signal(SIGTERM,EXIT);

  if (logfile.Open(argv[1],"a+")==false)
  {
    printf("打开日志文件失败(%s)。\n",argv[1]); return -1;
  }

  // 把xml解析到参数starg结构中
  if (_xmltoarg(argv[2])==false) return -1;

  while (true)
  {
    if (ftp.login(starg.host,starg.username,starg.password,starg.mode)==false)
    {
      logfile.Write("ftp.login(%s,%s,%s) failed.\n",starg.host,starg.username,starg.password); sleep(10); continue;
    }

    // logfile.Write("ftp.login ok.\n");
  
    _ftpgetfiles();

    ftp.logout();

    sleep(starg.timetvl);
  }

  return 0;
}

void EXIT(int sig)
{
  logfile.Write("程序退出,sig=%d\n\n",sig);

  exit(0);
}

// 本程序的业务流程主函数
bool _ftpgetfiles()
{
  // 进入服务器文件存放的目录
  if (ftp.chdir(starg.remotepath)==false)
  {
    logfile.Write("ftp.chdir(%s) failed.\n",starg.remotepath); return false;
  }

  // logfile.Write("chdir ok.\n");

  // 列出服务器目录文件
  if (ftp.nlist(".",starg.listfilename)==false)
  {
    logfile.Write("ftp.nlist(%s) failed.\n",starg.remotepath); return false;
  }
  
  // logfile.Write("nlist ok.\n");

  // 把nlist方法获取到的list文件加载到vlistfile容器中
  if (LoadListFile()==false) 
  {
    logfile.Write("LoadListFile() failed.\n"); return false;
  }

  if (starg.ptype==1)
  {
    // 加载okfilename文件中的内容到容器vokfilename中
    LoadOKFileName();

    // 把vlistfile容器中的文件与vokfilename容器中文件对比,得到两个容器
    // 一、在vlistfile中存在,并已经采集成功的文件vokfilename1
    // 二、在vlistfile中存在,新文件或需要重新采集的文件vlistfile1
    CompVector();

    // 把vokfilename1容器中的内容先写入okfilename文件中,覆盖之前的旧okfilename文件
    WriteToOKFileName();
    
    // 把vlistfile1容器中的内容复制到vlistfile容器中
    vlistfile.clear(); vlistfile.swap(vlistfile1);
  }

  // 从服务器上获取新文件或已改动过后的文件
  for (int ii=0;ii<vlistfile.size();ii++)
  {
    char strremotefilename[301],strlocalfilename[301];
    SNPRINTF(strlocalfilename,300,"%s/%s",starg.localpath,vlistfile[ii].filename);
    SNPRINTF(strremotefilename,300,"%s/%s",starg.remotepath,vlistfile[ii].filename);

    logfile.Write("get %s ...",strremotefilename);

    // 获取文件
    if (ftp.get(strremotefilename,strlocalfilename,true)==false) 
    {
      logfile.WriteEx("failed.\n"); break;
    }

    logfile.WriteEx("ok.\n");
    
    // 删除文件
    if (starg.ptype==2) ftp.ftpdelete(strremotefilename);

    // 转存到备份目录
    if (starg.ptype==3)
    {
      char strremotefilenamebak[301];
      SNPRINTF(strremotefilenamebak,300,"%s/%s",starg.remotepathbak,vlistfile[ii].filename);
      ftp.ftprename(strremotefilename,strremotefilenamebak);
    }
  
    // 如果ptype==1,把采集成功的文件记录追加到okfilename文件中
    if (starg.ptype==1) AppendToOKFileName(&vlistfile[ii]);
  }
 
  return true;
}

// 把nlist方法获取到的list文件加载到vlistfile容器中
bool LoadListFile()
{
  vlistfile.clear();

  CFile File;

  if (File.Open(starg.listfilename,"r") == false)
  {
    logfile.Write("File.Open(%s) 失败。\n",starg.listfilename); return false;
  }

  struct st_fileinfo stfileinfo;

  while (true)
  {
    memset(&stfileinfo,0,sizeof(struct st_fileinfo));

    if (File.Fgets(stfileinfo.filename,300,true)==false) break;

    if (MatchFileName(stfileinfo.filename,starg.matchname)==false) continue;

    if (starg.ptype==1)
    {
      // 获取对方服务器文件时间
      if (ftp.mtime(stfileinfo.filename)==false) 
      {
        logfile.Write("ftp.mtime(%s) failed.\n",stfileinfo.filename); return false;
      }

      strcpy(stfileinfo.mtime,ftp.m_mtime);
    }

    vlistfile.push_back(stfileinfo);

    // logfile.Write("vlistfile filename=%s,mtime=%s\n",stfileinfo.filename,stfileinfo.mtime);
  }

  return true;
}

// 把okfilename文件内容加载到vokfilename容器中
bool LoadOKFileName()
{
  vokfilename.clear();

  CFile File;

  // 注意:如果程序是第一次采集,okfilename是不存在的,并不是错误,所以也返回true。
  if (File.Open(starg.okfilename,"r") == false) return true;

  struct st_fileinfo stfileinfo;

  char strbuffer[301];

  while (true)
  {
    memset(&stfileinfo,0,sizeof(struct st_fileinfo));

    if (File.Fgets(strbuffer,300,true)==false) break;

    GetXMLBuffer(strbuffer,"filename",stfileinfo.filename,300);
    GetXMLBuffer(strbuffer,"mtime",stfileinfo.mtime,20);

    vokfilename.push_back(stfileinfo);

    // logfile.Write("vokfilename filename=%s,mtime=%s\n",stfileinfo.filename,stfileinfo.mtime);
  }

  return true;
}

// 把vlistfile容器中的文件与vokfilename容器中文件对比,得到两个容器
// 一、在vlistfile中存在,并已经采集成功的文件vokfilename1
// 二、在vlistfile中存在,新文件或需要重新采集的文件vlistfile1
bool CompVector()
{
  vokfilename1.clear();  vlistfile1.clear();

  for (int ii=0;ii<vlistfile.size();ii++)
  {
    int jj=0;
    for (jj=0;jj<vokfilename.size();jj++)
    {
      if ( (strcmp(vlistfile[ii].filename,vokfilename[jj].filename)==0) &&
           (strcmp(vlistfile[ii].mtime,vokfilename[jj].mtime)==0) )
      {
        vokfilename1.push_back(vlistfile[ii]); break;
      }
    }

    if (jj==vokfilename.size())
    {
      vlistfile1.push_back(vlistfile[ii]);
    }
  }

  /*
  for (int ii=0;ii<vokfilename1.size();ii++)
  {
    logfile.Write("vokfilename1 filename=%s,mtime=%s\n",vokfilename1[ii].filename,vokfilename1[ii].mtime);
  }

  for (int ii=0;ii<vlistfile1.size();ii++)
  {
    logfile.Write("vlistfile1 filename=%s,mtime=%s\n",vlistfile1[ii].filename,vlistfile1[ii].mtime);
  }
  */

  return true;
}

// 把vokfilename1容器中的内容先写入okfilename文件中,覆盖之前的旧okfilename文件
bool WriteToOKFileName()
{
  CFile File;

  // 注意,打开文件不要采用缓冲机制
  if (File.Open(starg.okfilename,"w",false) == false)
  {
    logfile.Write("File.Open(%s) failed.\n",starg.okfilename); return false;
  }

  for (int ii=0;ii<vokfilename1.size();ii++)
  {
    File.Fprintf("<filename>%s</filename><mtime>%s</mtime>\n",vokfilename1[ii].filename,vokfilename1[ii].mtime);
  }

  return true;
}

// 如果ptype==1,把采集成功的文件记录追加到okfilename文件中
bool AppendToOKFileName(struct st_fileinfo *stfileinfo)
{
  CFile File;

  // 注意,打开文件不要采用缓冲机制
  if (File.Open(starg.okfilename,"a",false) == false)
  {
    logfile.Write("File.Open(%s) failed.\n",starg.okfilename); return false;
  }

  File.Fprintf("<filename>%s</filename><mtime>%s</mtime>\n",stfileinfo->filename,stfileinfo->mtime);

  return true;
}

// 显示程序的帮助
void _help(char *argv[])
{
  printf("\n");
  printf("Using:/htidc/public/bin/ftpgetfiles logfilename xmlbuffer\n\n");

  printf("Sample:/htidc/public/bin/ftpgetfiles /log/shqx/ftpgetfiles_surfdata.log \"<host>172.16.0.15:21</host><port>21</port><mode>1</mode><username>oracle</username><password>te.st1234TES@T</password><localpath>/data/shqx/ftp/surfdata</localpath><remotepath>/data/shqx/sdata/surfdata</remotepath><matchname>SURF_*.TXT,*.DAT</matchname><ptype>1</ptype><remotepathbak></remotepathbak><listfilename>/data/shqx/ftplist/ftpgetfiles_surfdata.list</listfilename><okfilename>/data/shqx/ftplist/ftpgetfiles_surfdata.xml</okfilename><timetvl>30</timetvl>\"\n\n\n");

  printf("本程序是数据中心的公共功能模块,用于把远程FTP服务器的文件采集到本地目录。\n");
  printf("logfilename是本程序运行的日志文件。\n");
  printf("xmlbuffer为文件传输的参数,如下:\n");
  printf("<host>118.89.50.198:21</host> 远程服务器的IP和端口。\n");
  printf("<mode>1</mode> 传输模式,1-被动模式,2-主动模式,缺省采用被模式。\n");
  printf("<username>wucz</username> 远程服务器FTP的用户名。\n");
  printf("<password>test1234TEST</password> 远程服务器FTP的密码。\n");
  printf("<localpath>/tmp/ftpget</localpath> 本地文件存放的目录。\n");
  printf("<remotepath>/tmp/gzrad</remotepath> 远程服务器存放文件的目录。\n");
  printf("<matchname>*.GIF</matchname> 待采集文件匹配的文件名,采用大写匹配,"\
         "不匹配的文件不会被采集,本字段尽可能设置精确,不允许用*匹配全部的文件。\n");
  printf("<ptype>1</ptype> 文件采集成功后,远程服务器文件的处理方式:1-什么也不做;2-删除;3-备份,如果为3,还要指定备份的目录。\n");
  printf("<remotepathbak>/tmp/gzradbak</remotepathbak> 文件采集成功后,服务器文件的备份目录,此参数只有当ptype=3时才有效。\n");
  printf("<listfilename>/oracle/qxidc/list/ftpgetfiles_surfdata.list</listfilename> 采集前列出服务器文件名的文件。\n");
  printf("<okfilename>/oracle/qxidc/list/ftpgetfiles_surfdata.xml</okfilename> 已采集成功文件名清单,此参数只有当ptype=1时有效。\n");
  printf("<timetvl>30</timetvl> 采集时间间隔,单位:秒,建议大于10。\n\n");
}

// 把xml解析到参数starg结构中
bool _xmltoarg(char *strxmlbuffer)
{
  memset(&starg,0,sizeof(struct st_arg));

  GetXMLBuffer(strxmlbuffer,"host",starg.host);
  if (strlen(starg.host)==0) { logfile.Write("host is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"mode",&starg.mode);
  if ( (starg.mode!=1) && (starg.mode!=2) ) starg.mode=1;

  GetXMLBuffer(strxmlbuffer,"username",starg.username);
  if (strlen(starg.username)==0) { logfile.Write("username is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"password",starg.password);
  if (strlen(starg.password)==0) { logfile.Write("password is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"localpath",starg.localpath);
  if (strlen(starg.localpath)==0) { logfile.Write("localpath is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"remotepath",starg.remotepath);
  if (strlen(starg.remotepath)==0) { logfile.Write("remotepath is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"matchname",starg.matchname);
  if (strlen(starg.matchname)==0) { logfile.Write("matchname is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"ptype",&starg.ptype);
  if ( (starg.ptype!=1) && (starg.ptype!=2) && (starg.ptype!=3) ){ logfile.Write("ptype is error.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"remotepathbak",starg.remotepathbak);
  if ((starg.ptype==3) && (strlen(starg.remotepathbak)==0) ) { logfile.Write("remotepathbak is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"listfilename",starg.listfilename);
  if (strlen(starg.listfilename)==0) { logfile.Write("listfilename is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"okfilename",starg.okfilename);
  if ((starg.ptype==1) && (strlen(starg.okfilename)==0)) { logfile.Write("okfilename is null.\n"); return false; }

  GetXMLBuffer(strxmlbuffer,"timetvl",&starg.timetvl);
  if (starg.timetvl==0) { logfile.Write("timetvl is null.\n"); return false; }

  return true;
}


  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-10-21 12:49:07  更:2021-10-21 12:49:43 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 20:31:21-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码