Clasificación de texto, Unidad 5 — Clasificadores clásicos, 5.1 — Modelos lineales · 12/01/2026

SVM

SVM: Un modelo lineal para clasificación de texto

Introducción

La clasificación de texto es una tarea fundamental en NLP que permite asignar un conjunto predefinido de etiquetas a segmentos de texto. Uno de los modelos más populares y efectivos para esta tarea son los Máquinas de Vectores de Soportes (SVM, por sus siglas en inglés). SVMs son especialmente valiosos debido a su capacidad para encontrar hiperplanos óptimos que separan las diferentes clases en un espacio de características. En este artículo, exploraremos cómo SVMs se aplican a la clasificación de texto y discutiremos algunos aspectos prácticos a tener en cuenta al implementarlos.

Explicación principal

Concepto básico

La idea detrás de los SVMs es encontrar el hiperplano que maximiza la margen (la distancia entre el hiperplano y las muestras más cercanas) en un espacio de características. En el contexto del texto, esto significa transformar el texto en una representación numérica (como vectores), a continuación, buscar un plano que separa perfectamente o con márgenes optimizados estas representaciones.

Ejemplo práctico

Supongamos que tenemos un conjunto de tweets sobre el clima. Queremos clasificarlos como positivos ("el tiempo es maravilloso"), negativos ("¡lluvia todo el día!") y neutrales. Podemos representar cada tweet como una secuencia de palabras (tokens) y luego convertir esa secuencia en un vector utilizando técnicas como TF-IDF o embeddings pre-entrenados.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC

# Ejemplo de datos
tweets = [
    "El tiempo es maravilloso hoy",
    "¡Lluvia todo el día!",
    "Hoy hace un poco frío"
]

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(tweets)

# Definir las etiquetas
y = [1, -1, 0]  # Positivo, negativo, neutro

# Crear y entrenar el modelo SVM
svm_model = SVC(kernel='linear', C=1)
svm_model.fit(X, y)

# Predecir nuevas muestras
new_tweets = ["Es un día soleado", "El viento es fuerte hoy"]
X_new = vectorizer.transform(new_tweets)
predictions = svm_model.predict(X_new)
print(predictions)  # [1, -1]

Bloque de código

En el ejemplo anterior, utilizamos la clase SVC de scikit-learn con un kernel lineal. El parámetro C controla la regularización del modelo; valores más altos de C dan prioridad a clasificar correctamente todos los datos, mientras que valores bajos permiten una mayor margin.

Errores típicos / trampas

Problema con datos imbalanced: Los SVMs pueden ser propensos a sobreajustar en conjuntos de datos desbalanceados (muchas más muestras de un solo grupo). Considera usar técnicas como oversampling, undersampling o SMOTE.

No controlado de la dimensionalidad: Si los embeddings no están bien seleccionados, pueden resultar en alta dimensionalidad que puede afectar negativamente a la clasificación. Seleccionar buenos embeddings es clave.

Malas elecciones de hiperparámetros: El parámetro C y el tipo de kernel son críticos para el rendimiento del modelo. Un mal ajuste puede dar lugar a modelos subóptimos o sobreajustados.

Checklist accionable

Recolección y preparación de datos: Asegúrate de tener un conjunto de datos equilibrado con varias clases.
Selección de embeddings: Utiliza embeddings pre-entrenados como BERT, Word2Vec o GloVe para mejorar la representación del texto.
Tuneo de hiperparámetros: Experimenta con diferentes valores de C y tipos de kernel (lineal, polinómico, radial).
Validación cruzada: Utiliza validación cruzada para evaluar el rendimiento del modelo en datos no vistos.
Métricas adecuadas: Usa F1-score en lugar de accuracy si hay clases desbalanceadas.

Cierre: Siguientes pasos

Explorar modelos más avanzados: Tras dominar SVMs, avanza a modelos como BERT para clasificación de texto.
Integración en sistemas reales: Implementa un sistema de clasificación en producción usando APIs y procesamiento por lotes.
Monitoreo del modelo: Mantén y monitorea el rendimiento del modelo, especialmente si hay cambios en la distribución de los datos.

Siguiendo estos pasos, podrás implementar SVMs eficazmente para la clasificación de texto y avanzar a modelos más complejos.

SVM