IA práctica para programadores: ChatGPT, LLM, RAG, agentes, evaluación y despliegue.
Distribuciones Introducción En el procesamiento de texto, una distribución es una descripción matemática que representa la frecuencia con la que aparecen diferentes palabras o n-gramas en un corpus. Esta representación es fundamental para a…
N-gramas simples Introducción En el procesamiento de texto, los n-gramas son fragmentos de texto de longitud fija que se utilizan para analizar y modelar la secuencia de palabras. Los n-gramas simples (o unigramas) son una forma básica pero…
Conteo de palabras Introducción El conteo de palabras es una tarea fundamental en el procesamiento de texto y análisis de datos. Permite obtener estadísticas básicas sobre un conjunto de texto, lo que a su vez puede ser útil para entender l…
Errores frecuentes en la implementación de tokenización y segmentación básica con Python Introducción La tokenización y la segmentación son procesos fundamentales en el análisis del texto, donde se dividen los documentos en unidades más peq…
Uso de librerías estándar para tokenización y segmentación básica en Python Introducción El procesamiento de texto es una habilidad fundamental en el campo del análisis de datos y la inteligencia artificial. En particular, la tokenización y…
Tokenización manual Introducción La tokenización es un paso crucial en el procesamiento de texto, ya que divide el texto en unidades más pequeñas, conocidas como tokens. Estos tokens pueden ser palabras, frases, caracteres o cualquier otra …
Caracteres: qué son y cómo tokenizarlos en Python Introducción En el procesamiento de texto, los caracteres son la unidad más básica y fundamental. Cada carácter es un símbolo individual que conforma palabras, frases o párrafos. Tokenizar c…
Frases Introducción En el procesamiento de texto, la tokenización es una técnica fundamental que implica dividir un texto en unidades más pequeñas llamadas tokens. Estos tokens pueden ser palabras, frases, números o cualquier otro símbolo s…