一、项目需求
数据交接过程中遇到格式转换的问题,我手上的是txt数据,对方需要的是mat数据,且数据格式要求按照“纬度、经度,高度”排列,而我的txt文件数据格式为“经度,纬度,高斯坐标Y,高斯坐标X,高度”,如下图。
之前没有接触过mat格式的我傻傻地以为改个后缀名就完事了,事实并非如此,百度百科解释如下:
mat文件是matlab的数据存储的标准格式。mat文件是标准的二进制文件,还可以ASCII码形式保存和加载,在MATLAB中打开显示类似于单行EXCEL表格。
二、解决方案
显而易见,肯定用matlab可以完成转换过程,但是,matlab并不熟练的我尝试了一下,导入、清洗、换列、存储…效率贼低,然而我有数十个文件需要转换,遂弃matlab投python。 基本功能:同一目录下所有txt文件转换为mat文件,并就地存储在该目录下。 定制功能:按列进行数据读取,两列数据互换 若只使用基本功能,则删除20行“, usecols=(0, 1, 4)”,以及删除或注释21行。
import os
import time
import numpy as np
import scipy.io as sio
def txt2mat(inpath):
'''txt转mat(涉及列之间的交换、当前路径与工作路径转换、获取当前路径下文件列表并进行判断以及批处理)'''
path_origin = os.getcwd()
os.chdir(inpath)
for file in os.listdir():
if file[-3:] == "txt":
outname = file[:-4] + '.mat'
data = np.loadtxt(file, delimiter=',', usecols=(0, 1, 4))
data[:, [0, 1]] = data[:, [1, 0]]
sio.savemat(outname, {'data': data})
print(file + '-->' + outname + '\tSuccessfully!')
os.chdir(path_origin)
def run():
'''输入+运行+计时'''
t_start = time.time()
inpath = 'D:/Program Files/JetBrains/PycharmProjects/BathymetricDepthModel/output/20190222'
txt2mat(inpath)
t_consume = time.time() - t_start
h = t_consume // 3600
m = (t_consume - h * 3600) // 60
s = t_consume - h * 3600 - m * 60
print('---------------------------------------------------')
print('Time consuming: %d hours %d minutes %.3f seconds' % (h, m, s))
print('---------------------------------------------------')
if __name__ == '__main__':
run()
日志输出:
转换前: 转换后: matlab打开mat文件,验证无误。
|