Обработка текста: как я могу извлечь нужные поля из списка строк?

#python #regex #text-processing

#python #регулярное выражение #обработка текста

Вопрос:

Я хочу извлечь шесть полей content_list и поместить их в фрейм данных. Поля: Seq. # , Name , Coding Instructions , Target Value , Selections , и Supporting Definitions . Однако регулярное выражение, которое мне нужно для получения объекта метаданных, не дает мне Seq. # для каждого элемента в списке и пропускает несколько других элементов, поэтому, когда я перехожу к его подмножеству, оно выдает ошибку index out of range . Я не уверен, что я делаю неправильно. Вы можете мне помочь? Спасибо!

 import re 
import pandas as pd

content_list = ['nSeq. #:n2031', 'Name:nSSN N/AnThe value on arrival at this facilitynTarget Value:nSelection TextnDefinitionnNonYesnSelections:n(none)nSupporting Definitions:nIndicate the number created and automatically inserted by the software that uniquely identifies this patient.nCoding Instructions:nOnce assigned to a patient at the participating facility, this number will never be changed or reassigned to a different patient. If the npatient returns to the same participating facility or for followup, they will receive this same unique patient identifier.nNote(s):', 'nSeq. #:n2040', 'Name:nNCDR Patient IDnThe value on arrival at this facilitynTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nAn optional patient identifier, such as Medical Record Number, that can be associated with the patient.nCoding Instructions:nThis element is referenced in The Joint Commission AMI Core Measures, AMI-1 through AMI-5. AMI-7, 7a, 8, 8a and AMI-9.nNote(s):', 'nSeq. #:n2045', "Name:nOther IDnN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nIndicate the patient's date of birth.nCoding Instructions:nThis element is referenced in The Joint Commission AMI Core Measures, AMI-1 through AMI-5. AMI-7, 7a, 8, 8a and AMI-9.nNote(s):", 'nSeq. #:n2050', "Name:nBirth DatenThe value on arrival at this facilitynTarget Value:n(none)nSelections:n(none)nSupporting Definitions:n© 2007, American College of Cardiology Foundationn3/31/2014nPage 2 of 137nEffective for Patient Discharges January 01, 2015nCoder's Data DictionarynNCDR® ACTION Registry®-GWTGŽ v2.4nA. DemographicsnIndicate the patient's sex at birth.nCoding Instructions:nThis element is referenced in The Joint Commission AMI Core Measures, AMI-1 through AMI-5. AMI-7, 7a, 8, 8a and AMI-9.nNote(s):", 'nSeq. #:n2060', 'Name:nSexnThe value on arrival at this facilitynTarget Value:nSelection TextnDefinitionnMalenFemalenSelections:n(none)nSupporting Definitions:nIndicate if the patient is White.nCoding Instructions:nIf the patient has multiple race origins, specify them using the other race selections in addition to this one.nThis element is referenced in The Joint Commission AMI Core Measures, AMI-1 through AMI-5. AMI-7, 7a, 8, 8a and AMI-9.nNote(s):', 'nSeq. #:n2070', 'Name:nRace - WhitenThe value on arrival at this facilitynTarget Value:nSelection TextnDefinitionnNonYesnSelections:nWhite (race)n:nHaving origins in any of the original peoples of Europe, the Middle East, or North Africa.nSource:nU.S. Office of Management and Budget. Classification of Federal Data on Race and EthnicitynSupporting Definitions:nIndicate if the patient is Black or African American.nCoding Instructions:nIf the patient has multiple race origins, specify them using the other race selections in addition to this one.nThis element is referenced in The Joint Commission AMI Core Measures, AMI-1 through AMI-5. AMI-7, 7a, 8, 8a and AMI-9.nNote(s):','nSeq. #:n1040', 'Name:nTransmission NumbernN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nVendor Identification (agreed upon by mutual selection between the vendor and the NCDR) to identify software vendor. Vendors nmust use consistent name identification across sites. Changes to Vendor Name Identification must be approved by the NCDR.nCoding Instructions:', 'nSeq. #:n1050', "Name:nVendor IdentifiernN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nVendor's software product name and version number identifying the software which created this record (assigned by vendor). nVendor controls the value in this field. Version passing certification/harvest testing will be noted at the NCDR.nCoding Instructions:", 'nSeq. #:n1060', "Name:nVendor Software VersionnN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:n© 2007, American College of Cardiology Foundationn3/31/2014nPage 136 of 137nEffective for Patient Discharges January 01, 2015nCoder's Data DictionarynNCDR® ACTION Registry®-GWTGŽ v2.4nZ. AdministrationnThe NCDR Registry Identifier describes the data registry to which these records apply. It is implemented in the software at the time nthe data is collected and the records are created. This is entered into the schema automatically by software.nCoding Instructions:", 'nSeq. #:n1070', 'Name:nRegistry IdentifiernN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nRegistry Version describes the version number of the Data Specifications/Dictionary, to which each record conforms. It identifies nwhich fields should have data, and what are the valid data for each field. It is the version implemented in the software at the time nthe data is collected and the records are created. This is entered into the schema automatically by software.nCoding Instructions:', 'nSeq. #:n1080', 'Name:nRegistry VersionnN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:nReserved for future use.nCoding Instructions:', 'nSeq. #:n1200', "Name:nAuxiliary 0nN/AnTarget Value:n(none)nSelections:n(none)nSupporting Definitions:n© 2007, American College of Cardiology Foundationn3/31/2014nPage 137 of 137nEffective for Patient Discharges January 01, 2015nCoder's Data DictionarynNCDR® ACTION Registry®-GWTGŽ v2.4nZ. Administration"]

sequence_list = []
metadata = []
for i in content_list:
    metadata = list(filter(None, re.split("s*(?:Seq. #:|Name:|Coding Instructions:|Target Value:|Selections:|Supporting Definitions:)s*", i)))
    sequence_list.append([metadata[0], metadata[1], metadata[2], metadata[3], metadata[4], metadata[5]])

df = pd.DataFrame(sequence_list, columns = ['Seq #:','Name','Coding Instructions','Target Value','Supporting Definitions','Selections'])
df['Seq #:'] = df['Seq #:'].astype(int)
df.head()

 

Ответ №1:

Вы можете объединить элементы content_list с новой строкой, а затем разделить полученную строку двойным переводом строки, чтобы получить абзацы, которые позже можно проанализировать с помощью соответствующего регулярного выражения, например

 pattern = r'(?s)^Seq. #:s*(.*?)nName:s*(.*?)nTarget Value:s*(.*?)nSelections:s*(.*?)nSupporting Definitions:s*(.*?)(?:nCoding Instructions:s*(.*))?

Смотрите демонстрацию регулярных выражений. Похоже Coding Instructions  , что может отсутствовать, поэтому оно сделано необязательным в регулярном выражении.

Демонстрация Python:

 sequence_list = []
pattern = r'^Seq. #:s*(.*?)nName:s*(.*?)nTarget Value:s*(.*?)nSelections:s*(.*?)nSupporting Definitions:s*(.*?)(?:nCoding Instructions:s*(.*))?

Обратите внимание, что каждый абзац анализируется только в том случае, если регулярное выражение совпадает, и если это так,  .groups()  данные соответствия используются для последующего заполнения фрейма данных.


Комментарии:

1. Спасибо за ваш ответ. Я боюсь, что content_list не был полностью репрезентативным для моих данных (я обновил его), так как при запуске вашего кода фрейм данных, который я получаю, имеет правильный номер seq, но у него есть проблемы с остальными переменными

2. @Adri Вы имеете в виду, что в данных может быть Note(s) поле?

3. Может быть, но я на них не смотрю. Например, это первая строка, которую я получаю: Seq #: 2031, Имя: 'SSN N / A Значение по прибытии на этот объект', Инструкции по кодированию: Текст выделения nDefinition nNo nIes, Целевое значение: (нет), Вспомогательные определения: , Выделения: Нет

4. @Adri Итак, чего вы ожидаете?

5. @Adri Регулярное выражение, которое будет учитывать Notes regex101.com/r/AftYHk/1

Смотрите демонстрацию регулярных выражений. Похоже Coding Instructions , что может отсутствовать, поэтому оно сделано необязательным в регулярном выражении.

Демонстрация Python:


Обратите внимание, что каждый абзац анализируется только в том случае, если регулярное выражение совпадает, и если это так, .groups() данные соответствия используются для последующего заполнения фрейма данных.

Комментарии:

1. Спасибо за ваш ответ. Я боюсь, что content_list не был полностью репрезентативным для моих данных (я обновил его), так как при запуске вашего кода фрейм данных, который я получаю, имеет правильный номер seq, но у него есть проблемы с остальными переменными

2. @Adri Вы имеете в виду, что в данных может быть Note(s) поле?

3. Может быть, но я на них не смотрю. Например, это первая строка, которую я получаю: Seq #: 2031, Имя: 'SSN N / A Значение по прибытии на этот объект', Инструкции по кодированию: Текст выделения nDefinition nNo nIes, Целевое значение: (нет), Вспомогательные определения: , Выделения: Нет

4. @Adri Итак, чего вы ожидаете?

5. @Adri Регулярное выражение, которое будет учитывать Notes regex101.com/r/AftYHk/1

for i in re.split(r'n{2,}', 'n'.join(content_list)):
m = re.match(pattern, i.strip(), re.S)
if m:
sequence_list.append(m.groups())
df = pd.DataFrame(sequence_list, columns = ['Seq #:','Name','Coding Instructions','Target Value','Supporting Definitions','Selections'])

Обратите внимание, что каждый абзац анализируется только в том случае, если регулярное выражение совпадает, и если это так, .groups() данные соответствия используются для последующего заполнения фрейма данных.

Комментарии:

1. Спасибо за ваш ответ. Я боюсь, что content_list не был полностью репрезентативным для моих данных (я обновил его), так как при запуске вашего кода фрейм данных, который я получаю, имеет правильный номер seq, но у него есть проблемы с остальными переменными

2. @Adri Вы имеете в виду, что в данных может быть Note(s) поле?

3. Может быть, но я на них не смотрю. Например, это первая строка, которую я получаю: Seq #: 2031, Имя: ‘SSN N / A Значение по прибытии на этот объект’, Инструкции по кодированию: Текст выделения nDefinition nNo nIes, Целевое значение: (нет), Вспомогательные определения: , Выделения: Нет

4. @Adri Итак, чего вы ожидаете?

5. @Adri Регулярное выражение, которое будет учитывать Notes regex101.com/r/AftYHk/1

Смотрите демонстрацию регулярных выражений. Похоже Coding Instructions , что может отсутствовать, поэтому оно сделано необязательным в регулярном выражении.

Демонстрация Python:


Обратите внимание, что каждый абзац анализируется только в том случае, если регулярное выражение совпадает, и если это так, .groups() данные соответствия используются для последующего заполнения фрейма данных.

Комментарии:

1. Спасибо за ваш ответ. Я боюсь, что content_list не был полностью репрезентативным для моих данных (я обновил его), так как при запуске вашего кода фрейм данных, который я получаю, имеет правильный номер seq, но у него есть проблемы с остальными переменными

2. @Adri Вы имеете в виду, что в данных может быть Note(s) поле?

3. Может быть, но я на них не смотрю. Например, это первая строка, которую я получаю: Seq #: 2031, Имя: ‘SSN N / A Значение по прибытии на этот объект’, Инструкции по кодированию: Текст выделения nDefinition nNo nIes, Целевое значение: (нет), Вспомогательные определения: , Выделения: Нет

4. @Adri Итак, чего вы ожидаете?

5. @Adri Регулярное выражение, которое будет учитывать Notes regex101.com/r/AftYHk/1