Блог

У меня есть тысячи .csv файлов, содержащих огромное количество сенсорных данных, все в плавающих числах. Но также в некоторых строках в некоторых файлах отображается информация о дате и времени, и она отображается в разных местах файлов, как показано на рисунке ниже:

На приведенном выше изображении первые две строки находятся в начале, но могут находиться в других местах для других файлов. Такого рода неплавающие строки следует пропускать при чтении файлов с помощью read_csv функции pandas, чтобы избежать ошибок.

Я использовал skiprows функцию для пропуска определенных строк с постоянным индексом строки, но проблема в том, что нежелательные строки изменяются по местоположению в файлах.

         for j in range(len(all_list)):
        path = os.path.join(path, all_list[j])
        # print(path)
        df_data = pd.read_csv(path, skiprows=[0, 1], header=None)
        print("data shape: ", df_data.shape)
 

Мой вопрос:
Как я могу читать только строки с плавающей запятой и автоматически пропускать неплавающие данные из всех файлов?

 import pandas as pd  

# read csv
df_data = pd.read_csv(path, header=None)

# parse to numeric and set invalid values to NaN
df_data = df_data.apply(pd.to_numeric, errors='coerce')

# drop rows that contain NaN values
df_data = df_data.dropna()
 

Вы указываете любое произвольное / фиксированное имя заголовка при импорте pandas.read_csv , а затем обрабатываете фрейм данных, чтобы удалить все неплавающие значения

Данные:

  import pandas as pd
 
 sample_csv=pd.read_csv('USERS.CSV',names=[X','Y','Z'], index_col=False)
 def is_float(x):
    try:
        float(x)
    except ValueError:
        return False
    return True

sample_csv[sample_csv.applymap(lambda x: is_float(x))].dropna()
 

Вывод:

И, наконец, вы можете настроить заголовки.

Если ваши данные не содержат пропущенных значений (или если они все равно будут удалены), вы можете использовать read_csv s converters -функциональность с помощью такого конвертера, как

 def conv(x):
    try:
        return float(x)
    except:
        return None
 

и последующее .dropna() . Если NA s вызывает беспокойство, вы можете использовать другое значение сигнала для возврата и отфильтровать их с помощью некоторой логической магии индексации

Вы можете загрузить csv в виде текста, удалить ненужные строки и прочитать его с помощью pandas:

 for j in range(len(all_list)):
    path = os.path.join(path, all_list[j])
    # print(path)
    with open(path) as f:
        l=f.readlines()
    l=[x[:-1].split(',') for x in l if '

Я добавил if  '$' not in x  в качестве фильтра для нежелательных строк, вам нужно заменить его, если он не подходит.