??之前的文章介绍了python抓取网页数据并将数据保存到本地excel文件,后续可以将数据保存到数据库(SqlServer、mysql等)中,本文学习python中操作SqlServer数据库的基本用法,后续将从网页中抓取的数据保存到SqlServer数据库。 ??百度python操作SqlServer数据库,大部分搜索结果中使用pymssql操作SqlServer数据库,本文即基于pymssql包学习SqlServer数据库的基本操作方式,并使用之前文章中使用的环境检测数据库进行数据操作测试。 ??pymssql包可以通过离线和在线方式安装。离线方式的话,请在参考文献2中下载包文件并将其复制到python目录下的Lib\site-packages文件夹中,在线安装的话,在命令行中运行下列命令即可安装。
pip install pymssql
??从目前学习的内容看,pymssql主要通过执行sql语句操作数据库,并通过cursor获取查询结果。本文主要学习以下基本操作:
??数据库的连接与关闭。pymssql通过调用pymssql.connect函数创建数据库连接,并返回Connection对象。调用Connection对象的cursor函数获取cursor对象,后续使用该对象执行sql语句并从数据库中获取数据。所有操作完成后调用Connection对象的close函数关闭链接。测试程序及运行结果如下所示。
import pymssql
server = 'XXX.XXX.XXX.XXX'
user = 'XXXXXXX'
password = 'XXXXXXXXXX'
db='EC'
conn = pymssql.connect(server, user, password, db)
cursor = conn.cursor()
cursor.execute('SELECT Count(*) FROM EnvironmentRecord')
print('total data amount = %d' % cursor.fetchone())
conn.close()
??数据查询。调用cursor对象的execute函数执行无参数或带参数的查询语句。如果是无参数的sql语句,直接向上面示例中的用法调用execute函数即可,如果有参数,则调用下图中的第二个execute函数。有多种方式获取查询结果,cursor对象的fetchone函数获取查询结果中的下一行数据,fetchmany函数获取指定数量的查询结果,而fetchall获取所有的查询结果。除了调用函数,也可以通过迭代器或fetchone循环获取所有查询结果,从参考文献3中找到了两种使用示例,代码片段如下:
cursor.execute('SELECT * FROM persons WHERE salesrep=%s', 'John Doe')
row = cursor.fetchone()
while row:
print("ID=%d, Name=%s" % (row[0], row[1]))
row = cursor.fetchone()
cursor.execute('SELECT * FROM persons WHERE salesrep=%s', 'John Doe')
for row in cursor:
print("ID=%d, Name=%s" % (row['id'], row['name']))
??参照上述示例编写的查询测试代码,程序及执行结果如下所示。
import pymssql
server = 'XXX.XXX.XXX.XXX'
user = 'XXXXXXX'
password = 'XXXXXXXXXX'
db='EC'
conn = pymssql.connect(server, user, password, db)
cursor = conn.cursor()
cursor.execute('SELECT * FROM EnvironmentRecord WHERE CreateTime>=%s', '2021-6-19 16:12:00')
for row in cursor:
print('row = %r' % (row,))
conn.close()
??数据插入。调用cursor对象的execute执行insert语句可以插入单条数据,同时调用executemany函数则可以插入多条数据,参考文献3中给出的多条数据插入示例如下。插入语句执行后,需要调用Connection对象的commit函数,否则就不会生效,也可以配置Connection对象的autocommit,让语句自动提交生效。 ??基于参考文献3及上图中的示例,测试插入单条数据和多条数据,程序及执行结果如下所示。
import pymssql
server = 'XXX.XXX.XXX.XXX'
user = 'XXXXXXX'
password = 'XXXXXXXXXX'
db='EC'
conn = pymssql.connect(server, user, password, db)
cursor = conn.cursor()
cursor.executemany(
"INSERT INTO EnvironmentRecord(CreateTime,DHTState,Humidity,Temperature,FlameValue,MQValue)VALUES(%s,%d,%d,%d,%d,%d)",
[('2022-05-24 10:00:00',1,54, 22, 962, 202),
('2022-05-24 10:10:00',1,54, 22, 962, 202),
('2022-05-24 10:20:00',1,54, 22, 962, 202)])
conn.commit()
conn.close()
??关于pymssql的详细介绍可以查看参考文献3。本文学习了基于pymssql的SqlServer数据库基本操作方法后,后续会尝试将之前保存到excel文件中的页面抓取数据保存到SqlServer数据库。
参考文献 [1]https://blog.csdn.net/XUMENGCAS/article/details/123419220 [2]https://github.com/pymssql/pymssql [3]https://pymssql.readthedocs.io/en/latest/index.html
|