Datos sintéticos (Synthetic Data)

No del todo. Los datos sintéticos son un complemento potente de los datos reales: llenan vacíos, aumentan la diversidad y respetan la privacidad. Pero un modelo entrenado únicamente con datos sintéticos corre el riesgo de model collapse: siempre se necesita un anclaje en la realidad.

Existen varios métodos: LLM como ChatGPT o Claude para generar texto estructurado, GANs para imágenes, modelos de difusión, simuladores físicos y técnicas estadísticas clásicas como SMOTE para datos tabulares.

Entre los ejemplos comunes están: rostros generados por GANs (como en thispersondoesnotexist), secuencias de conducción simuladas para entrenar vehículos autónomos, historiales médicos realistas pero ficticios que preservan las estadísticas médicas sin identidades reales, transacciones fraudulentas para equilibrar un dataset de detección de fraude, o pares de pregunta-respuesta redactados por LLM como ChatGPT o Claude. Cada uno imita las propiedades estadísticas de datos reales sin exponer a personas reales.

Sí. ChatGPT se usa mucho para generar datos textuales sintéticos: pares de pregunta-respuesta estructurados, ejemplos de conversaciones, muestras etiquetadas e incluso registros tabulares ficticios en CSV o JSON. Destaca al producir muestras variadas siguiendo instrucciones, para fine-tuning o pruebas. Las principales limitaciones son las alucinaciones factuales y la falta de diversidad: por eso conviene validar y deduplicar los datos generados antes de usarlos en entrenamiento.

Los datos reales provienen de eventos, observaciones o personas reales. Los datos sintéticos los generan algoritmos o modelos de IA para imitar los patrones estadísticos de los datos reales sin describir a ningún individuo real. Los datos reales ofrecen exactitud de referencia, pero plantean problemas de privacidad, costo y escasez. Los datos sintéticos son más baratos, seguros para la privacidad y escalables, pero solo valen lo que el modelo y los supuestos que los sustentan.

Por lo general, los datos sintéticos se agrupan por modalidad: texto (conversaciones, preguntas y respuestas y anotaciones generadas por LLM), imagen y video (GANs y modelos de difusión que producen rostros, escenas, objetos) y datos tabulares (registros financieros o médicos creados con VAE, CTGAN o SMOTE). También se distingue entre fully synthetic (sin ningún registro real), partially synthetic (campos sensibles reemplazados) y datasets híbridos que mezclan muestras reales y generadas.

Sí, cuando se usan bien. Los datos sintéticos mejoran de forma demostrable los modelos en aumento de datos, en intercambio respetuoso con la privacidad y en cobertura de eventos raros, y los grandes laboratorios recurren mucho a ellos para el post-entrenamiento. Funcionan sobre todo como complemento de los datos reales, no como reemplazo total: entrenar solo con salidas sintéticas arriesga el model collapse, donde la calidad y la diversidad se degradan. La validación frente a métricas reales es esencial.

Los grandes laboratorios de IA y los sectores regulados. OpenAI usa datos sintéticos de forma masiva para el post-entrenamiento, y Meta AI los documentó en el entrenamiento de Llama. Bancos y aseguradoras los emplean para compartir datos sin exponer a sus clientes, los equipos de salud para modelar casos raros respetando la ley, y los fabricantes de automóviles para simular escenarios de conducción extremos. Hugging Face aloja datasets sintéticos abiertos como Cosmopedia para una investigación transparente.

Depende. Unos datos sintéticos bien construidos pueden reproducir las distribuciones reales con la fidelidad suficiente para que los modelos entrenados con ellos rindan de forma comparable, y los GANs o modelos de difusión modernos producen imágenes casi fotorrealistas. Pero el realismo está limitado por el modelo de origen y el método: los datos sintéticos pueden pasar por alto correlaciones raras, heredar sesgos de entrenamiento o parecer plausibles aunque sean sutilmente erróneos. La fidelidad se mide con la similitud estadística y métricas de tareas posteriores.

En parte. OpenAI no ha publicado su receta de datos completa, pero usa abiertamente datos sintéticos en el post-entrenamiento: las salidas de modelos más potentes sirven para alinear y refinar a los más recientes mediante técnicas como la destilación y el aprendizaje por refuerzo a partir de feedback de IA. El corpus de preentrenamiento sigue siendo mayoritariamente texto web real, y los datos sintéticos se añaden para el seguimiento de instrucciones, el razonamiento y la seguridad, sin reemplazar por completo los datos reales.