Detección de la coherencia en textos utilizando Python y la librería Spacy

Aquí te enseñaremos cómo detectar la coherencia en textos utilizando la librería Spacy en Python.

¿Qué es Spacy?

Spacy es una librería en Python utilizada para el procesamiento y análisis de lenguaje natural. Esta librería ofrece al usuario múltiples herramientas que facilitan la creación de soluciones de alto nivel relacionadas con la lingüística.

La librería Spacy representa un gran avance en la lingüística computacional. Con ella es posible entrenar nuevos modelos, crear flujos de trabajo de manera más sencilla y generar visualizaciones atractivas e informativas en un espacio de tiempo reducido.

Coherencia en textos

La coherencia es la propiedad de un texto que permite entender su significado y seguir su hilo argumentativo sin encontrar contradicciones o lógicas incoherentes. La detección de la coherencia es un elemento clave para evaluar la calidad de cualquier texto.

¿Cómo detectar la coherencia en textos con Spacy?

Instalación de Spacy

Lo primero que debemos hacer es instalar Spacy. Para hacerlo podemos utilizar pip, el gestor de paquetes de Python:

pip install spacy

Descarga de modelos

Spacy tiene un catálogo de modelos pre-entrenados disponibles para su descarga. Para usar cualquiera de estos modelos, es necesario descargar el modelo deseado. Estos modelos suelen ser pesados y grandes, por lo que es posible que la descarga y la instalación tomen algo de tiempo. Hay diferentes modelos disponibles, y tú puedes elegir el que mejor se adapte a tus necesidades.

python -m spacy download en_core_web_sm

Carga de modelo

Una vez descargado el modelo, es importante cargarlo en nuestra aplicación para poder utilizarlo. Para ello, Spacy cuenta con una función de carga incorporada:

import spacy nlp = spacy.load("en_core_web_sm")

Detección de coherencia

Una vez que tenemos el modelo cargado, podemos detectar la coherencia de un texto utilizando la propiedad sintáctica (árboles de dependencias) y la semántica (capturando la similitud entre las palabras) de dicho texto.

Análisis sintáctico

Para el análisis sintáctico, podemos utilizar la propiedad sents de nuestro objeto nlp para separar nuestro texto en oraciones. Luego, podemos utilizar el método print_dependencies para imprimir el árbol de dependencias de cada una de las oraciones:

doc = nlp("La lluvia estaba muy pesada esta mañana. Por lo tanto, cancelé mis planes para ir a la playa. ") for sent in doc.sents:
    sent_print = ""
    for token in sent:
        sent_print += token.text + " --(" + token.dep_ + ")--> " + token.head.text + "n"
    print(sent_print)

Análisis semántico

Para el análisis semántico, Spacy permite buscar similitudes entre las palabras en un texto preprocesado, es decir, sin stopwords y sin disputas. Por ejemplo, si queremos encontrar las palabras más similares a «gato» en un texto, podemos usar el siguiente código:

doc = nlp("El gato estaba durmiendo en el jardín en el exterior de mi casa.")
target_word = doc[1]
similar_words = sorted(doc, key=lambda word:target_word.similarity(word), reverse=True)
for word in similar_words:
    print(word.text, target_word.similarity(word))

La detección de la coherencia en textos es una tarea fundamental para cualquier proceso de análisis lingüístico. Con la librería Spacy podemos hacer esto de manera sencilla e intuitiva. Recuerda que existen múltiples modelos para descargar y que la elección correcta dependerá de las necesidades de tu proyecto.