删除.dat文件中的不需要的字符，然后对处理后的结果进行计算。

Question

我需要在Python中读取一个.dat文件。该文件共有3列，包含数百行数据。第二列和第三列分别由两个字符和一个浮点数组成，我想提取的就是这两个字符后面的浮点数——第二列总是以"SA"开头，第三列总是以"SC"开头。目前我是通过加载数据并逐行循环提取数值，但是否有更好的方法呢？

一旦数据清洗完成，我还想对结果进行一些计算操作，特别是计算平均值。

以下是该.dat文件中的两行示例：

9:01:15 SA7.998  SC7.968 
9:01:16 SA7.998  SC7.968

这是我当前正在使用的代码：

import numpy as np
import os.path
from statistics import mean

time=[]
s_1=[]
s_2=[]
s1=[]
s2=[]
r1=[]
r2=[]
avgg=[]

# Reading data from file
with open('serial_2.dat','r') as f:
    dat=f.readlines()      
for i in dat: 
     y=i.split()                          # cleaning and getting columns without spaces  
     time.append(y[0])
     s1.append(y[1])
     s2.append(y[2])
#getting only numbers without strings (SA and SC)           
for counter in (range(0,len(s1))):
    S_1=s1[counter]
    r1.append(S_1[2:])
    r1_f=np.array(r1, dtype='float32')  

   S_2=s2[counter]
   r2.append(S_2[2:])
   r2_f=np.array(r2, dtype='float32')  
   avgg=r1_f+r2_f/2
print(np.mean(avgg))

Paul · Answer

您可以使用pandas库轻松实现这一需求：

# 首先确保已安装pandas库，若未安装，请运行以下命令：
!pip install pandas
import pandas as pd
import numpy as np

# 使用pandas读取.dat文件
df = pd.read_csv('serial_2.dat', sep='\s+', header=None, names=['时间', 's1', 's2'])

# 使用正则表达式提取s1和s2列中的浮点数
df['s1'] = df['s1'].str.extract('^[\D]+(.*)').astype(float)
df['s2'] = df['s2'].str.extract('^[\D]+(.*)').astype(float)

# 输出处理后的数据框
>>> df
      时间     s1     s2
0  9:01:15  7.998  7.968
1  9:01:16  7.998  7.968

>>> df.dtypes
时间       object
s1        float64
s2        float64
dtype: object

# 如果s1和s2列始终包含两个字符，可以不使用正则表达式，直接去掉前两个字符
df['s1'] = df['s1'].str[2:].astype(float)
df['s2'] = df['s2'].str[2:].astype(float)

# 计算全局平均值
# 使用pandas方法
>>> df[['s1', 's2']].mean().mean()
7.983

# 或者使用numpy方法
>>> np.mean(df[['s1', 's2']])
7.983

# 计算每行的平均值
df['平均值'] = df[['s1', 's2']].mean(axis=1)
print(df)

# 输出带有每行平均值的新数据框
      时间     s1     s2    平均值
0  9:01:15  7.998  7.968  7.983
1  9:01:16  7.998  7.968  7.983

Suresh Atta · Answer

您可以移除或切片前缀来实现这一目标：

import csv
import pandas as pd

with open('serial_2.dat') as csv_file:
    dat_reader = csv.reader(csv_file, delimiter=' ')
    
    # 初始化数据列表
    data = []
    for row in dat_reader:
        # 移除或截取前缀后保存数据
        row = [row[0], row[1][2:], row[2][2:]]
        data.append(row)

    # 设置列名
    columns = ["时间", "SA", "SC"]
    
    # 将数据转换为DataFrame格式
    df = pd.DataFrame(data, columns=columns)
    
    # 将SA和SC列转换为浮点数类型
    df['SA'] = df['SA'].astype(float)
    df['SC'] = df['SC'].astype(float)
    
    # 计算每行的平均值并添加到新列
    df['平均值'] = df[['SA', 'SC']].mean(axis=1)
    
    # 打印DataFrame及其数据类型
    print(df)
    print(df.dtypes)

输出结果：

      时间     SA     SC    平均值
0  9:01:15  7.998  7.968  7.983
1  9:01:16  7.998  7.968  7.983
时间     object
SA      float64
SC      float64
平均值    float64
dtype: object