#!/usr/bin/env python
# coding: utf-8

# In[1]:


import nltk
nltk.download()


# In[2]:


import nltk
nltk.download('punkt')  # Pour les modèles de tokenisation
nltk.download('wordnet')  # Pour les données de lemmatisation
nltk.download('stopwords')  # Pour les listes stopwords


# In[3]:


from nltk.tokenize import word_tokenize

text = "Qui sait si le coup de vent qui abat un toit ne dilate pas toute une forêt ? Pourquoi le volcan qui bouleverse une ville ne féconderait-il pas une province ? Voilà encore de notre orgueil : nous nous faisons le centre de la nature, le but de la création et sa raison suprême. Tout ce que nous voyons ne pas s’y conformer nous étonne, tout ce qui nous est opposé nous exaspère."
tokens = word_tokenize(text, language="french")
print(tokens)


# In[4]:


from nltk.corpus import stopwords

stop_words = set(stopwords.words('french'))
words = word_tokenize(text)
filtered_words = [word for word in words if word.lower() not in stop_words]
print(filtered_words)


# In[6]:


from nltk.tokenize import sent_tokenize, word_tokenize
from nltk.stem import SnowballStemmer

# Tokenization des phrases et des mots
sentences = sent_tokenize(text)
stemmer = SnowballStemmer("french")  # Choix du stemmer pour le français

# Lemmatisation (stemming) pour chaque mot dans chaque phrase
lemmatized_sentences = []
for sentence in sentences:
    words = word_tokenize(sentence)
    lemmatized_words = [stemmer.stem(word) for word in words]
    lemmatized_sentence = ' '.join(lemmatized_words)
    lemmatized_sentences.append(lemmatized_sentence)

# Affichage des phrases lemmatisées
for lemmatized_sentence in lemmatized_sentences:
    print(lemmatized_sentence)


# In[ ]:




