Блог

Я обозначил предложение после удаления специальных символов и т.д. Стоп-слово возвращает текст без удаления слов-заполнителей.

 import nltk
import re
import string
from nltk.corpus import stopwords

""" Function to remove special characters etc."""

def remove_characters_before_tokenization(sentence, keep_apostrophes=False):
    sentence = sentence.strip()
    if keep_apostrophes:
        PATTERN = r'[?|$|amp;|*|%|@|(|)|~]'
        filtered_sentence = re.sub(PATTERN, r'', sentence)
    else:
        PATTERN = r'[^a-zA-Z0-9 ]'
        filtered_sentence = re.sub(PATTERN, r'', sentence)
    return filtered_sentence

""" Generic function to word tokenize"""

def tokenize_text(text):
    sentences = nltk.sent_tokenize(text)
    word_tokens = [nltk.word_tokenize(sentence) for sentence in sentences]
    return word_tokens

Sample= open("Sample.txt", "r") # open a text file 

cleaned_text= remove_characters_before_tokenization(Sample.read())

words=tokenize_text(cleaned_text)  # tokenised word without special characters

""" Function to remove stopwords"""

def remove_stopwords(tokens):
    stopword_list = nltk.corpus.stopwords.words('english')
    for token in tokens:
        if  not token in stopword_list:
             filtered_tokens= token
    return filtered_tokens


stop_removed = remove_stopwords(words)
print(stop_removed)


  

Вывод «stop_removed» совпадает с «words». Я думаю, что я допускаю ошибку в токене цикла FOR в tokens, но я не уверен, как это исправить.

filtered_tokens = token хранится только один токен, вам нужно использовать структуру данных, в которой хранится коллекция элементов (например, вложенный список).

 stop = set(stopwords.words('english'))
   
def remove_stopwords(text):
    filtered_text = [[tok for tok in sent if tok not in stop] for sent in text]
    return filtered_text