Aula 05 - Remoção de Stopwords

1- O que são stopwords?


Stop words (ou palavras de parada – tradução livre) são palavras que podem ser consideradas irrelevantes para o conjunto de resultados a ser exibido em uma busca realizada em uma search engine. Exemplos: as, e, os, de, para, com, sem, foi.

Claro que, irrelevantes, depende da busca realizada, pois o contexto da busca fará toda a diferença para cada palavra usada na pesquisa realizada.

2- Porquê devo remover stopwords?

Esse processo faz parte do pré-processamento de dados realizado nas etapas iniciais de um pipeline de PLN. Quando devemos montar um Bag-of-words, por exemplo, a maior frequência de palavras serão stopwords. Pois estas palavras são utilizadas o tempo todo para dar sentido ao texto. Portanto, remover stopwords reduz o ruído dos dados analisados. 

3- Removendo stopwords em Inglês com NLTK

import nltk
from nltk.corpus import stopwords

# inserimos um texto aleatório
texto = """France, in Western Europe, encompasses medieval cities, alpine villages and Mediterranean beaches. Paris, its capital, is famed for its fashion houses, classical art museums including the Louvre and monuments like the Eiffel Tower. The country is also renowned for its wines and sophisticated cuisine. Lascaux’s ancient cave drawings, Lyon’s Roman theater and the vast Palace of Versailles attest to its rich history."""

sentences = nltk.sent_tokenize(texto)

for i in range(len(sentences)):
    words = nltk.word_tokenize(sentences[i])
    newwords = [word for word in words if word not in stopwords.words('english')]
    sentences[i] = ' '.join(newwords)
    
print (sentences)

['France , Western Europe , encompasses medieval cities , alpine villages Mediterranean beaches .', 'Paris , capital , famed fashion houses , classical art museums including Louvre monuments like Eiffel Tower .', 'The country also renowned wines sophisticated cuisine .', 'Lascaux ’ ancient cave drawings , Lyon ’ Roman theater vast Palace Versailles attest rich history .']








Aula 05 - Remoção de Stopwords Aula 05 - Remoção de Stopwords Reviewed by Vinicius dos Santos on 05:02:00 Rating: 5

Nenhum comentário

Escreve ai sua opinião!