|
我校在2月24日就正式开学了，很不巧老家苏州发生了疫情就一直没能返校，到了3月初学校所在的哈尔滨又发生了疫情于是返校的日程又被耽搁了。
这些天里我一直宅在家学习和工作，在此期间我得到了一个实习offer来自上海张江的一个企业，地址正好在百度研发大楼的对面，我是进行的远程实习，所以是不用去单位的。具体的工作内容是研发一个搜索系统，键入一些列的病症，搜索相关的论文。数据使用的是NCBI（美国国家生物信息中心）提供的开源数据集。我的任务主要是将数据录入elasticsearch和制作一个搜索系统，目前先要在命令行中验证其可行性，进而做成web版。目前的进度是完成了数据录入脚本的编写，现在只要改变一个录入的列表即可复用代码。
git的使用
在这么多天的实习中我学到了不少新的东西，尤其是git的使用流程，我以前一直把他当网盘用，但这明显是不科学的。
git使用的流程如下：
?git流程规范：先建feature branch，然后从feature branch开PR，code review完成以后，再merge feature branch到main branch
git不是存数据的地方，data不要push到git上
git开分支并切换的命令如下:
git branch feature/yuetian
git cheackout feature/yuetian
其中feature/yuetian是分支名称。以上就是我在工作中了解到的关于git的新知识。
docker的使用
项目使用了docker容器化技术，于是我又不得不学习了一把docker。接下来我来总结学到了docker命令行：
启动docker服务：
systemstl start docker
停止docker服务：
systemstl stop docker
重启docker服务：
systemstl restart docker
查看docker服务状态：
systemstl status docker
设定开机启动docker：
systemstl enable docker
查看本地所有镜像：
docker images -q
删除本地镜像：
docker rmi <镜像id>
查看所有容器：
docker ps -a
创建并启动容器：
docker run <参数>
-i 保持容器运行
-t 为容器配备一个伪输入终端
-d 以守护进程启动
--name 命名创建的容器
进入容器：
docker exec <参数>
停止容器：
docker stop 容器名
开启容器：
docker start 容器名
删除容器：
docker rm 容器名
查看容器信息：
docker inspect 容器名
elasticsearch的使用
我暂时实现了写入数据的操作，原来的文件是一个xml文件，我的思路是将xml文件中的数据提取，转换成pandas的DataFrame数据类型在进行进一步操作。
具体的Python代码如下：
from lxml import etree
import pandas as pd
import numpy as np
from elasticsearch import Elasticsearch
# get data from xml file
def get_data(address):
xml = etree.parse(address)
root = xml.getroot()
results = []
datas = root.xpath('//PubmedArticle/MedlineCitation')
date_completed = []
date_revised = []
ISSN = []
DOI = []
ID = []
AbstractList = []
Title = []
Names = []
for data in datas:
# print(data)
if len(data.xpath('./DateCompleted')) != 0:
year = data.xpath('./DateCompleted/Year/text()')[0]
month = data.xpath('./DateCompleted/Month/text()')[0]
day = data.xpath('./DateCompleted/Day/text()')[0]
Date = month+'-'+day+'-'+year
# print(Date)
date_completed.append(Date)
else:
date_completed.append('NULL')
year = data.xpath('./DateRevised/Year/text()')[0]
month = data.xpath('./DateRevised/Month/text()')[0]
day = data.xpath('./DateRevised/Day/text()')[0]
Date = month + '-' + day + '-' + year
date_revised.append(Date)
if len(data.xpath('./Article/Journal/ISSN/text()')) != 0:
issn = data.xpath('./Article/Journal/ISSN/text()')[0]
# print(issn)
ISSN.append(issn)
else:
ISSN.append('NULL')
id = data.xpath('./PMID/text()')[0]
if id != '':
ID.append(id)
else:
ID.append('NULL')
if len(data.xpath('./parent::*/PubmedData/ArticleIdList/ArticleId[@IdType="doi"]/text()')) != 0:
doi = data.xpath('./parent::*/PubmedData/ArticleIdList/ArticleId[@IdType="doi"]/text()')[0]
# print(doi)
DOI.append(doi)
else:
DOI.append('0')
title = data.xpath('./Article/ArticleTitle/text()')
if len(title) != 0:
# print(title)
Title.append(title[0])
else:
Title.append('NULL')
Abstract = data.xpath('./Article/Abstract/AbstractText/text()')
if len(Abstract) == 1:
AbstractList.append(Abstract[0])
# print(Abstract)
elif len(Abstract) == 0:
AbstractList.append('NULL')
else:
length = len(Abstract)
# print(length)
AbstractString = ''
for tmp in Abstract:
AbstractString.join(tmp)
# Abstract = data.xpath('./Article/Abstract/AbstractText/text()')[0]
# Abstract = data.xpath('./Article/Abstract/AbstractText[@Label="BACKGROUND"]/text()')[0]
AbstractList.append(AbstractString)
# print(AbstractString)
authorLastName = data.xpath('./Article/AuthorList/Author/LastName/text()')
authorForeName = data.xpath('./Article/AuthorList/Author/ForeName/text()')
authorName = []
if len(authorForeName) != 0 and len(authorLastName) != 0 and len(authorForeName) == len(authorLastName):
for i in range(len(authorLastName)):
authorName.append(authorForeName[i] + ' ' + authorLastName[i] + ',')
# print(authorName)
Names.append("".join(authorName))
else:
Names.append("NULL")
final = pd.DataFrame(np.array([date_completed, date_revised, ISSN, DOI, AbstractList, Title, ID, Names]).T,
columns=['dateCompleted', 'DateRevised', 'ISSN', 'DOI', 'AbstractList', 'Title',
'PMID', 'Authors'])
# final.to_csv('c:\\result.csv')
return final
# PUT data into Elasticsearch
def write_data(data):
es = Elasticsearch(hosts=['localhost:9200'])
index_name = "pubmed-paper-index"
length = len(data['PMID'])
for i in range(length):
jsonData = {
"title": data.loc[i]['Title'],
"Authors": data.loc[i]['Authors'],
"abstract": data.loc[i]['AbstractList'],
"date": {
"completed_date": data.loc[i]['dateCompleted'],
"revised_date": data.loc[i]['DateRevised']
},
"journal_issn": data.loc[i]['ISSN'],
"journal_doi": data.loc[i]['DOI'],
"article_id": data.loc[i]['PMID']
}
print(jsonData)
es.index(index=index_name, body=jsonData)
if __name__ == '__main__':
# List of pending documents
address = [
'pubmed22n0001.xml',
'pubmed22n0002.xml',
'pubmed22n0003.xml',
]
# process the file
for add in address:
data = get_data(add)
write_data(data)
希望自己再接再厉！
END
|