Detección de la coherencia en textos utilizando Python y la librería Gensim

En este tutorial, hablaremos sobre la detección de coherencia en textos utilizando Python y la librería Gensim. Esta técnica es muy útil para evaluar la calidad de los temas de un texto y mejorar la experiencia del usuario.

Antes de profundizar en la detección de coherencia, es importante comprender qué es la coherencia en los textos. La coherencia se refiere a la relación lógica entre las ideas, frases y oraciones de un texto.

Un texto coherente tiene una estructura adecuada y fácil de seguir. La falta de coherencia puede hacer que el texto sea difícil de entender y reducir su calidad.

Usando Gensim para medir la coherencia

Gensim es una librería de procesamiento de lenguaje natural con la que podemos medir la coherencia de un texto. La implementación de Gensim se basa en el modelo de topic coherence desarrollado por Mimno et al. Para usar Gensim para medir la coherencia, necesitamos seguir algunos pasos.

Paso 1: Instalación de Gensim

Para instalar Gensim, necesitamos ejecutar este comando en nuestra terminal:

        !pip install gensim
    

Paso 2: Preprocesamiento del texto

Antes de medir la coherencia de un texto, debemos preprocesarlo. El preprocesamiento del texto implica eliminar elementos innecesarios y convertir los documentos de texto en una forma más adecuada para procesar. Algunos pasos para preprocesar el texto son:

• Eliminar signos de puntuación.
• Pasar todo el texto a minúsculas.
• Eliminar caracteres especiales.
• Tokenizar el texto en palabras.

Un ejemplo de preprocesamiento del texto con Python:

        import nltk
        from nltk.corpus import stopwords
        from nltk.tokenize import word_tokenize
        from string import punctuation

        nltk.download('stopwords')
        nltk.download('punkt')
        
        stop_words = set(stopwords.words('spanish') + list(punctuation))
        text = "Ejemplo de texto para preprocesar. Se eliminarán los signos de puntuación, se cambiarán las mayúsculas a minúsculas, se eliminarán los caracteres especiales y se tokenizará el texto en palabras."
        text = text.lower()
        words = word_tokenize(text)
        words = [word for word in words if word not in stop_words]
        preprocessed_text = ' '.join(words)
    

Paso 3: Creación de un modelo LDA

Después del preprocesamiento, necesitamos crear un modelo de análisis de las distribuciones temáticas LDA. Este modelo se basa en encontrar la Matriz de co-ocurrencia entre las palabras en los documentos, y entonces reducirla a una matriz mucho más pequeña que represente las relaciones temáticas entre los documentos. Podemos usar el algoritmo de Latent Dirichlet Allocation (LDA) para crear un modelo temático.

Para crear un modelo LDA en Gensim, necesitamos instalar la biblioteca Mallet. Mallet se utiliza para entrenar modelos LDA. Podemos descargar Mallet de su página de GitHub.

        !wget http://mallet.cs.umass.edu/dist/mallet-2.0.8.zip
        !unzip mallet-2.0.8.zip 
        MALLET_PATH = './mallet-2.0.8/bin/mallet'
    

Después de instalar Mallet, podemos crear un modelo LDA en Gensim.

        from gensim.models.ldamodel import LdaModel
        from gensim.corpora.dictionary import Dictionary

        # Crear un diccionario a partir de los documentos preprocesados
        documents = [preprocessed_text.split()]
        dictionary = Dictionary(documents)

        # Crear un corpus a partir del diccionario y los documentos preprocesados
        corpus = [dictionary.doc2bow(doc) for doc in documents]

        # Crear el modelo LDA
        lda_model = LdaModel(corpus=corpus, id2word=dictionary, num_topics=2)
    

Paso 4: Medición de la coherencia

Finalmente, podemos medir la coherencia de nuestro modelo de tema utilizando el modelo de coherencia de Gensim. Podemos usar la medida de coherencia UMass, que se basa en la frecuencia de las co-ocurrencias de las palabras en los documentos.

        from gensim.models import CoherenceModel

        # Crear objeto Coherence para evaluar el modelo
        coherence_model_lda = CoherenceModel(model=lda_model,
                                             texts=documents,
                                             dictionary=dictionary,
                                             coherence='u_mass')

        coherence_lda = coherence_model_lda.get_coherence()
        print('nCoherence Score: ', coherence_lda)
    

El resultado de este paso es un número que representa la coherencia de nuestro modelo de tema. Un número positivo indica una alta coherencia, mientras que un número negativo indica una baja coherencia. Podemos ajustar los parámetros del modelo LDA para obtener una coherencia más alta.

La detección de coherencia en textos es muy útil para evaluar y mejorar la calidad del texto. Gensim es una biblioteca de procesamiento de lenguaje natural que nos permite medir la coherencia de los textos. A través de la creación de un modelo LDA y el uso del modelo de Coherencia de Gensim, podemos medir la coherencia de nuestro texto y mejorar la experiencia del usuario.