<jupyter_start><jupyter_text>4. Preparando o Dataset (Texto)  Importação das Bibliotecas<jupyter_code>import nltk
import numpy as np
nltk.download('stopwords')
nltk.download('punkt')
from pprint import pprint
stopWordPortugues = nltk.corpus.stopwords.words('portuguese')
print(np.transpose(stopWordPortugues))
sample_text = """ O menino gosta de jogar futebol aos finais de semana.
Ele gosta de jogar com seus amigos Marcos e João, mas não gosta de brincar
com a irmã Marcela."""
tokenizacao_sentencas = nltk.sent_tokenize
sample_sentence=tokenizacao_sentencas(text=sample_text)
pprint(sample_sentence)
len(sample_sentence)
sample_sentence = 'O menino gosta de jogar futebol aos finais de semana.'
tokenizacao_palavras=nltk.word_tokenize
sample_words=tokenizacao_palavras(text=sample_sentence)
pprint(sample_words)
from nltk.stem import PorterStemmer
from nltk.stem import RSLPStemmer
nltk.download('rslp')
ps=PorterStemmer()
stemmer = RSLPStemmer()

print(ps.stem('jumping'))
print(stemmer.stem('amoroso'))
print(stemmer.stem('amorosa'))
print(stemmer.stem('amados'))
from nltk.stem import SnowballStemmer

print('Linguagens suportadas %s',SnowballStemmer.languages)
ss = SnowballStemmer('portuguese')
print(ss.stem('casado'))
print(ss.stem('casarão'))
print(ss.stem('casa'))<jupyter_output>cas
cas
cas<jupyter_text>** ---------------------**Exemplo Bag of Words ---------------------**** **<jupyter_code>sentenca="O IGTI oferece especializacao em Deep Learning. Deep Learning e utilizado em diversas aplicacoes. As aplicacoes de deep learning sao estudadas nesta especializacao. O IGTI tambem oferece bootcamp"

sentenca=sentenca.lower()
print(sentenca)
tokenizacao_sentencas=nltk.sent_tokenize
sample_sentence = tokenizacao_sentencas(text=sentenca)
pprint(sample_sentence)
sample_sentence[0]
tokenizacao_palavras=nltk.word_tokenize
list_words=[]
for i in range(len(sample_sentence)):
  sample_words = tokenizacao_palavras(text=sample_sentence[i])
  list_words.extend(sample_words)
print(list_words)
def tokenizaPalavras(sentenca):
  sample_words = tokenizacao_palavras(text=sentenca)
  return sample_words


#removendo stopwords e criando o BoW
def removeStopWords(list_of_words):

  my_stop_words=['o','em','as','de','sao','nesta','.','e','a','na','do'] # cria a lista de stopwords
  list_cleaned=set(list_of_words)-set(my_stop_words)
  return list_cleaned

my_BoW=removeStopWords(list_words)
print(my_BoW)
def bagofwords(sentence, words):
    sentence_words = tokenizaPalavras(sentence)
    # conta a frequência de palavras que estão no vetor do BoW
    bag = np.zeros(len(words))
    for sw in sentence_words:
        for i,word in enumerate(words):
            if word == sw: 
                bag[i] += 1
                
    return np.array(bag)
sentenca_teste='o igti oferece especializacao em deep learning e o igti oferece bootcamp'
print(bagofwords(sentenca_teste,my_BoW))<jupyter_output>[2. 2. 1. 0. 0. 1. 0. 0. 0. 1. 1.]
StarcoderdataJupyterStructuredCleanDedup