0.介绍项目目标

项目是基于东南亚小语种迁移学习所需要的数据集爬取任务，而目标选择定为小语种文献期刊双语标题和双语摘要进行对齐学习。
第一步先研究泰文数据集，目标文献期刊网站为：http://cuir.car.chula.ac.th/simple-search?query=
目标就是爬取这些信息，对每一条论文记录，框起来的那些都是要爬取的（泰语标题、英语标题、泰语摘要、英语摘要、学位类型），生成一个tsv文件，列名包括序号、泰语标题、英语标题、泰语摘要、英语摘要、学位类型

1.网站分析

1.1 寻找文档的uri规律

在这里插入图片描述

这是所有的文献集合，我们先随便选取一篇，发现地址栏十分复杂

# ps：【】表示连接的区别
# 第一篇文档
http://cuir.car.chula.ac.th/handle/123456789/
72181?
src=%2Fsimple-search%3Fquery%3D%26filter_field_1%3Dtype%26filter_type_1%3Dequals%
26filter_value_1%3DThesis%26sort_by%3Ddc.date.issued_dt%26order%3Ddesc%26rpp
%3D10%26etal%3D0%26start%3D0%26brw_total%3D64845%26brw_pos%
3D0&query=

# 第二篇文档
http://cuir.car.chula.ac.th/handle/123456789/
71235?
src=%2Fsimple-search%3Fquery%3D%26filter_field_1%3Dtype%26filter_type_1%3Dequals%
26filter_value_1%3DThesis%26sort_by%3Ddc.date.issued_dt%26order%3Ddesc%26rpp%
3D10%26etal%3D0%26start%3D0%26brw_total%3D64845%26brw_pos%
3D1&query=

# 第三篇文档
http://cuir.car.chula.ac.th/handle/123456789/
71233?
src=%2Fsimple-search%3Fquery%3D%26filter_field_1%3Dtype%26filter_type_1%3Dequals%
26filter_value_1%3DThesis%26sort_by%3Ddc.date.issued_dt%26order%3Ddesc%
26rpp%3D10%26etal%3D0%26start%3D0%26brw_total%3D64845%26brw_pos%
3D2&query=

# 最后一篇文档
http://cuir.car.chula.ac.th/handle/123456789/
27447?src=%2Fsimple-search%3Fquery%3D%26filter_field_1%3Dtype%26filter_type_1%3Dequals%
26filter_value_1%3DThesis%26sort_by%3Ddc.date.issued_dt%26order%3Ddesc%
26rpp%3D10%26etal%3D0%26start%3D64840%26brw_total%3D64845%26brw_pos%
3D64844&query=

# 但是经过多篇比对，我们发现每一篇文献的不同之处在于这两个地方：
http://cuir.car.chula.ac.th/handle/123456789/【72181】?
src=%2Fsimple-search%3Fquery%3D%26brw_total%3D73726%
26brw_pos%3D【0】&query=

# 而其他地方是一样的，这是否就是规律呢？先不着急下定论，
# 因为这个页面有一个return to list，我怀疑这是一个展示页而不是论文真正存放的物理路径。

我们往下看，发现一个叫做uri的属性
点击之后进入的居然是相同的页面，并且地址栏已经被改动
这个地址栏的规律不比刚刚那个好找？

第一篇：http://cuir.car.chula.ac.th/handle/123456789/72181
第二篇：http://cuir.car.chula.ac.th/handle/123456789/71235
第三篇：http://cuir.car.chula.ac.th/handle/123456789/71233
第四篇：http://cuir.car.chula.ac.th/handle/123456789/73078
第五篇：http://cuir.car.chula.ac.th/handle/123456789/69502
第六篇：http://cuir.car.chula.ac.th/handle/123456789/71254
第20篇：http://cuir.car.chula.ac.th/handle/123456789/77274
第60篇：http://cuir.car.chula.ac.th/handle/123456789/75905

最后一篇：http://cuir.car.chula.ac.th/handle/123456789/27447

检测：
http://cuir.car.chula.ac.th/handle/123456789/55
http://cuir.car.chula.ac.th/handle/123456789/77960
# 从55开始一直到77960都存在文献

通过二分法缩短范围，我们发现只有55-77960才有文献【截止至2021.12.10】
但是这个规律已经很好用了，只需要给一个循环就行。

1.2 寻找html规律

我们对该页面打开f12查看元素
不难发现，这个网站很容易爬取，内容都显示在td里，使用beautifulsoup的find方法：soup.find(class_=“metadataFieldValue dc_title”).string 就可以定位到这个字符串了。关于beautifulsoup的使用，自行学习。下面代码我会提供注释。
理论成立，开始写代码

2.爬取操作

2.1 多线程实现访问和爬取

要注意，这里一共有7w+的uri，我们需要的是一次一次地去访问，效率太低，我们要充分利用cpu多核的优势去实现多线程，当然不要分太多线程，过多的线程如果cpu承载不了也是会降低效率，因为还是需要排队获取cpu时间片。我们采用稳妥一点的三线程。
下面直接提供代码，跟着代码注释从上往下看。

# 首先导入所有我们需要的包
import requests
import sys
import io
import threading
from bs4 import BeautifulSoup

# 这句直接复制粘贴即可，是处理python的io流读写文本时候的乱码问题，统一utf8【utf8有泰文集】，不然会受到gbk的影响
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

# 创建三个线程类进行3个函数调用，这是threading模块的用法，可以自行学习后回来看
# 要注意这里是class而不是一个方法，可以照抄就行，重点是class里面的一个run方法，
# run方法需要调用我们执行函数，比如我这里调用的就是我待会要执行爬取功能的函数processDocument
class thread1(threading.Thread):
    def __init__(self, threadID, name, counter):    
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        # 55,26023表示我们要爬取的范围，1表示这是第一个线程，具体看下面的函数形参
        processDocument(55,26023,1)
        print ("退出线程：" + self.name)
class thread2(threading.Thread):
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        processDocument(26023,51991,2)
        print ("退出线程：" + self.name)
class thread3(threading.Thread):
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        processDocument(51991,77961,3)
        print ("退出线程：" + self.name)
    

# 爬取函数，我只对一个进行注释，后面两个是重复的函数，可以直接复用，但是注意num形参的不同，thread_no表示当前线程序号
# num1，num2是指我们要爬取的序列号范围，我们从分析网站之后得到文档的有效序号是55-77960，
# 那么我们分三个线程，均分这一批文献，分别是55,26023 | 26023,51991 | 51991,77961。
# 因为range函数是左闭右开，所以最后要加一77961.
def processDocument(num1，num2,thread_no):
    for serial_num in range(num1，num2):
    	# 这两个变量可以自己加上去之后自己打印输出查看结果
        fail_count = 0
        success_count = 0
        document_URL = 'http://cuir.car.chula.ac.th/handle/123456789/'+str(serial_num)
        try:
        	# 这里一定要用try except语块，否则会因为爬取连接过多导致一些异常而终止。
            response = requests.get(document_URL, timeout=2)
            # 获取状态码，状态码为200的时候访问成功
            status = response.status_code
            # 如果访问成功则写入文件
            if status == 200:
                # print(document_URL)
                success_count += 1
				# with打开文件后，用a模式追加字符encoding='utf-8'
				# 结果我们可以看到多个文件
            	with open("uri"+str(thread_no)+".txt","a") as file:
                    file.write(document_URL+"\n")
        except:
            fail_count += 1
    print(success_count)

# 创建线程对象，thread1，thread2，thread3都是刚刚定义的类名
thread_1 = thread1(1, "Thread-1", 1)
thread_2 = thread2(2, "Thread-2", 2)
thread_3 = thread3(3, "Thread-3", 3)

# 开启线程,自动调用run函数
thread_1.start()
thread_2.start()
thread_3.start()

爬取好后差不多长这样，当然我们需要的不是这些uri，而是uri对应的内容，这里只是简单查看一下结果，所以爬取一会儿就可以停止了。

2.2 html 处理

我们使用beautifulsoup模块，请自行学习。pip下载该模块后可以直接导入和使用。

def processDocument(num1，num2,thread_no):
    for serial_num in range(num1，num2):
    	# 这两个变量可以自己加上去之后自己打印输出查看结果
        fail_count = 0
        success_count = 0
        document_URL = 'http://cuir.car.chula.ac.th/handle/123456789/'+str(serial_num)
        try:
        	# 这里一定要用try except语块，否则会因为爬取连接过多导致一些异常而终止。
            response = requests.get(document_URL, timeout=2)
            # 获取状态码，状态码为200的时候访问成功
            status = response.status_code
            # 如果访问成功则写入文件
            if status == 200:
                # print(document_URL)
                success_count += 1
                # 成功了我们就不写入查看了，我们直接把访问成功的网站的html文档传过去
                # 这里写txt也可以，只是我们最后的目标是txt文件
                # response.text是uri网站对应的html代码，可以自行打印查看
                processSoup('数据集1.tsv',response.text)
        except:
            fail_count += 1
    print(success_count)
    
# 有了uri，我们就可以不断进行自动访问，然后下载html进行元素内容精准定位和获取了
# 我们定义一个函数用于处理html
# filename是我们要存放结果的文件，html_text是我们获取到的html文本
def processSoup(filename,html_text):
	# soup对象的创建需要一个html文本，和一个解析器，我们使用默认提供的lxml即可
    soup = BeautifulSoup(html_text,'lxml')
   
    # 下面字段获取内容的方式大同小异，自行查看soup.find()函数，我们这里只用到find函数的两个字段，
    # soup.find('标签名',class_='类名')，这样就可以唯一定位到我想要的内容，
    # 但是我们需要的是标签中间的字符串而不包括标签，所以我们还需要进行.string操作。至于内容在哪个类里，自己去网页f12查看元素即可。
    # ps：为什么是class_?而不是class=？因为class是python的关键字，soup为了区分而换了一个关键字代表html的类。
    title = soup.find('td',class_='metadataFieldValue dc_title').string
    other_title = soup.find('td',class_='metadataFieldValue dc_title_alternative').string
    abstract = soup.find('td',class_='metadataFieldValue dc_description_abstract').string
    other_abstract = soup.find('td',class_='metadataFieldValue dc_description_abstractalternative').string
    degree_discipline = soup.find('td',class_='metadataFieldValue dc_degree_discipline').a.string
	
	# 一般来说，网页title就是泰文标题，other_title就是英文标题，但是在爬取过程中我们发现了存在title是英文标题先的，而other_title才是泰文标题，因此我们需要加一个过滤方法
    thai_title = title
    en_title = other_title
    thai_abstract = abstract
    en_abstract = other_abstract

	# 过滤方法，保证title就是泰文标题，other_title就是英文标题
    for i in range(10):
    	# 提供一个随机数
        index = random.randint(1,20)
        # 简单排除停止词，如果我们随机的字符是停止词，我们重新提供随机数
        if(thai_title[index] == ',' or thai_title[index] == ' ' or thai_title[index] == '.' or thai_title[index] == '(' or thai_title[index] == ')' or thai_title[index] == '?' or thai_title[index] == '!'):
            continue
        else:
        	# 如果我们随机到的字符不是停止词，那么判断它是不是英文，注意还要考虑大小写，小写英文的ascii是97-122，而大写是65-80。中间一些其他的ascii可以忽略
            if(ord(title[1])>=65 and ord(title[1])<=122):
            	# 如果该字符是英文，则title是特殊情况，也就是title是英文标题，
            	# other_title才是泰文标题，我们进行简单转换
                thai_title = other_title
                en_title = title
                thai_abstract = other_abstract
                en_abstract = abstract
            break

   # 把爬取下来的字段都写入到文件中
    with open(filename,'a',encoding='utf-8') as file:
        file.write(thai_title+",")
        file.write(en_title+",")
        file.write(thai_abstract+",")
        file.write(en_abstract+",")
        file.write(degree_discipline+"\n")
    return

2.3 tsv转换

因为我们目标是一个tsv文件，也就是分隔符是tab键。我们选择使用python自带的csv包进行改写

	# 这里需要加一个参数newline=''，不然会有诡异的换行
    with open(filename,'a',encoding='utf-8',newline='') as file:
        tsv_w = csv.writer(file,delimiter='\t')
        #tsv_w.writerow(['thai_title','en_title','thai_abstract','en_abstract','degree_discipline'])
        tsv_w.writerow([thai_title,en_title,thai_abstract,en_abstract,degree_discipline])
        #file.write(thai_title+",")
        #file.write(en_title+",")
        #file.write(thai_abstract+",")
        #file.write(en_abstract+",")
        #file.write(degree_discipline+"\n")

3.完整代码

# 首先导入所有我们需要的包
import requests
import sys
import io
import threading
from bs4 import BeautifulSoup

# 这句直接复制粘贴即可，是处理python的io流读写文本时候的乱码问题，统一utf8【utf8有泰文集】，不然会受到gbk的影响
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

# 创建三个线程类进行3个函数调用，这是threading模块的用法，可以自行学习后回来看
# 要注意这里是class而不是一个方法，可以照抄就行，重点是class里面的一个run方法，
# run方法需要调用我们执行函数，比如我这里调用的就是我待会要执行爬取功能的函数processDocument
class thread1(threading.Thread):
    def __init__(self, threadID, name, counter):    
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        # 55,26023表示我们要爬取的范围，1表示这是第一个线程，具体看下面的函数形参
        processDocument(55,26023,1)
        print ("退出线程：" + self.name)
class thread2(threading.Thread):
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        processDocument(26023,51991,2)
        print ("退出线程：" + self.name)
class thread3(threading.Thread):
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        print ("开始线程：" + self.name)
        processDocument(51991,77961,3)
        print ("退出线程：" + self.name)
    

# 爬取函数，我只对一个进行注释，后面两个是重复的函数，可以直接复用，但是注意num形参的不同，thread_no表示当前线程序号
# num1，num2是指我们要爬取的序列号范围，我们从分析网站之后得到文档的有效序号是55-77960，
# 那么我们分三个线程，均分这一批文献，分别是55,26023 | 26023,51991 | 51991,77961。
# 因为range函数是左闭右开，所以最后要加一77961.
def processDocument(num1，num2,thread_no):
    for serial_num in range(num1，num2):
    	# 这两个变量可以自己加上去之后自己打印输出查看结果
        fail_count = 0
        success_count = 0
        document_URL = 'http://cuir.car.chula.ac.th/handle/123456789/'+str(serial_num)
        try:
        	# 这里一定要用try except语块，否则会因为爬取连接过多导致一些异常而终止。
            response = requests.get(document_URL, timeout=2)
            # 获取状态码，状态码为200的时候访问成功
            status = response.status_code
            # 如果访问成功则写入文件
            if status == 200:
                success_count += 1
                processSoup('数据集'+thread_no+'.tsv',response.text)
				
        except:
            fail_count += 1
    print(success_count)

# 有了uri，我们就可以不断进行自动访问，然后下载html进行元素内容精准定位和获取了
# 我们定义一个函数用于处理html
# filename是我们要存放结果的文件，html_text是我们获取到的html文本
def processSoup(filename,html_text):
	# soup对象的创建需要一个html文本，和一个解析器，我们使用默认提供的lxml即可
    soup = BeautifulSoup(html_text,'lxml')
   
    # 下面字段获取内容的方式大同小异，自行查看soup.find()函数，我们这里只用到find函数的两个字段，
    # soup.find('标签名',class_='类名')，这样就可以唯一定位到我想要的内容，
    # 但是我们需要的是标签中间的字符串而不包括标签，所以我们还需要进行.string操作。至于内容在哪个类里，自己去网页f12查看元素即可。
    # ps：为什么是class_?而不是class=？因为class是python的关键字，soup为了区分而换了一个关键字代表html的类。
    title = soup.find('td',class_='metadataFieldValue dc_title').string
    other_title = soup.find('td',class_='metadataFieldValue dc_title_alternative').string
    abstract = soup.find('td',class_='metadataFieldValue dc_description_abstract').string
    other_abstract = soup.find('td',class_='metadataFieldValue dc_description_abstractalternative').string
    degree_discipline = soup.find('td',class_='metadataFieldValue dc_degree_discipline').a.string
	
	# 一般来说，网页title就是泰文标题，other_title就是英文标题，但是在爬取过程中我们发现了存在title是英文标题先的，而other_title才是泰文标题，因此我们需要加一个过滤方法
    thai_title = title
    en_title = other_title
    thai_abstract = abstract
    en_abstract = other_abstract

	# 过滤方法，保证title就是泰文标题，other_title就是英文标题
    for i in range(10):
    	# 提供一个随机数
        index = random.randint(1,20)
        # 简单排除停止词，如果我们随机的字符是停止词，我们重新提供随机数
        if(thai_title[index] == ',' or thai_title[index] == ' ' or thai_title[index] == '.' or thai_title[index] == '(' or thai_title[index] == ')' or thai_title[index] == '?' or thai_title[index] == '!'):
            continue
        else:
        	# 如果我们随机到的字符不是停止词，那么判断它是不是英文，注意还要考虑大小写，小写英文的ascii是97-122，而大写是65-80。中间一些其他的ascii可以忽略
            if(ord(title[1])>=65 and ord(title[1])<=122):
            	# 如果该字符是英文，则title是特殊情况，也就是title是英文标题，
            	# other_title才是泰文标题，我们进行简单转换
                thai_title = other_title
                en_title = title
                thai_abstract = other_abstract
                en_abstract = abstract
            break

   # 把爬取下来的字段都写入到文件中
   # 这里需要加一个参数newline=''，不然会有诡异的换行
   with open(filename,'a',encoding='utf-8',newline='') as file:
       tsv_w = csv.writer(file,delimiter='\t')
       #tsv_w.writerow(['thai_title','en_title','thai_abstract','en_abstract','degree_discipline'])
       tsv_w.writerow([thai_title,en_title,thai_abstract,en_abstract,degree_discipline])
       #file.write(thai_title+",")
       #file.write(en_title+",")
       #file.write(thai_abstract+",")
       #file.write(en_abstract+",")
       #file.write(degree_discipline+"\n")
   return

# 创建线程对象，thread1，thread2，thread3都是刚刚定义的类名
thread_1 = thread1(1, "Thread-1", 1)
thread_2 = thread2(2, "Thread-2", 2)
thread_3 = thread3(3, "Thread-3", 3)

# 开启线程,自动调用run函数
thread_1.start()
thread_2.start()
thread_3.start()