Блог

У меня есть фрейм данных, как показано ниже

 df

Index   Lines

0  /// User states this is causing a problem and but the problem can only be fixed by the user. /// User states this is causing a problem and but the problem can only be fixed by the user.
1  //- How to fix the problem is stated below. Below are the list of solutions to the problem. //- How to fix the problem is stated below. Below are the list of solutions to the problem.
2 \ User describes the problem in the problem report.
 

Я хочу удалить повторяющиеся предложения, но не дублированные слова.

Я попробовал следующее решение, но оно также удаляет дублирующиеся слова в процессе.

 df['cleaned'] = (df['lines'].str.split()
                                  .apply(lambda x: OrderedDict.fromkeys(x).keys())
                                  .str.join(' '))
 

Это приводит к

 Index   cleaned

0  /// User states this is causing a problem and but the can only be fixed by user.
1  //- How to fix the problem is stated below. Below are list of solutions problem.
2  User describes the problem in report.
 

Но ожидаемое решение таково :

 Index   cleaned

0  /// User states this is causing a problem and but the problem can only be fixed by the user.
1  //- How to fix the problem is stated below. Below are the list of solutions to the problem.
2 \ User describes the problem in the problem report.
 

Как мне заставить его удалить повторяющиеся строки, но не повторяющиеся слова? Есть ли способ сделать это ?

Есть ли способ в регулярном выражении захватить первое предложение, заканчивающееся на».», и проверить, появляется ли это первое предложение снова в большой строке, и удалить все, начиная с того места, где первая строка повторяется до конца?

Пожалуйста, посоветуйте или предложите. Спасибо!!

IIUC:

 out = df['Lines'].str.findall(r'[^.] ').explode() 
                 .reset_index().drop_duplicates() 
                 .groupby('Index')['Lines'] 
                 .apply(lambda x: '.'.join(x))
 

 >>> out[0]
 /// User states this is causing a problem and but the problem can only be fixed by the user

>>> out[1]
 //- How to fix the problem is stated below. Below are the list of solutions to the problem

>>> print(out[2])
\ User describes the problem in the problem report
 

Поскольку ваш фрейм данных просто хранит строки, давайте просто сделаем это вручную:

 seen = set()
for i, row in enumerate(df["lines"]):
    lines = row.split(". ")
    keep = []
    for line in lines:
        line = line.strip()
            # if you want to clean up
            line = line.strip("\/-").strip()
        if line[-1] != ".":
            line  = "."
        if line not in seen:
            keep.append(line)
            seen.add(line)
    df["lines"][i] = " ".join(keep)
 

Мы повторяем столбец за строкой, разделяем каждую строку на «. » (которая разбивается на предложения), а затем, если предложение еще не было замечено, мы сохраняем его в списке. Затем мы вернули строку в этот список и снова объединились.

Поскольку токен, на который мы разделяемся, удален, мы добавляем «.» к каждому предложению, которое не заканчивается на».».