Las IAs como apoyo en la ciberseguridad y algunas dificultades
Ya hace unos cuantos años que se ofrecían inteligencias artificiales para la ciberseguridad: lo penúltimo era la detección de comportamientos anómalos a partir de la actividad de la red, los registros de actividad, etc. Pero, en los últimos años, las IAs se han ganado por derecho propio la entrada a todos los niveles. Casi me da apuro hablar de este caso porque la entrada tiene más de un año y todo cambia demasiado rápido, pero en Hallucinations, Hidden Costs & Human-in-the-Loop Realities nos hablaban de varios problemas y limitaciones que siguen estando de plena actualidad.
Nos podrían ayudar, nos dicen, en diversos aspectos:
- La fatiga por alertas: Ante la avalancha de avisos y textos largos, la IA permite examinarlos y resumirlos en segundos (aunque el problema de fondo sigue siendo que necesitan un buen entrenamiento con datos de calidad para ser confiables).
LLM Solution: Summarises the log avalanche in seconds
- Construcción de consultas: Ayuda a redactar queries complejas sin necesidad de ser un DBA especialista en esa sintaxis específica.
Pain Point: Query Kung-fu — SPL/KQL syntax
- Estructura y borrador de informes: Prepara la plantilla base (boilerplate) y aligera la carga de redacción.
Pain Point: Playbook boilerplate
- Apoyo a los perfiles junior: Delegar en la IA la explicación de conceptos o eventos relevantes (manteniendo siempre la precaución frente a posibles alucinaciones).
Pain Point: Junior mentoring
También se señalan inconvenientes claros:
- Completado de patrones: Como sabemos, los LLM completan secuencias de texto; no «saben» hechos. Si les alimentamos con datos de seguridad ambiguos o parciales, se inventan la respuesta con total soltura.
LLMs complete patterns; they don’t know facts. Feed them ambiguous or partial security data and they happily invent:
- Costes ocultos: El precio de los tokens, el coste de conectar e integrar nuestros datos (Retrieval Engineering), la desviación de instrucciones (Prompt Drift), el optimismo del vendedor frente a los resultados reales y las zonas grises en materia de cumplimiento normativo.
Token Tax Retrieval Engineering Prompt Drift Oversell, Underdeliver Compliance Grey-zones
¿Dónde quedan los humanos? Una cosa es que realmente podamos auditar y supervisar las respuestas de nuestras IAs y otra muy diferente lo que terminemos haciendo en el día a día.
Marketing slides imply analysts are promoted to “decision-makers”. In reality: they become prompt engineers, prompt auditors and bug-report shepherds. Without clear HITL checkpoints, a hallucinating agent can spray false positives, or worse, false negatives, at machine speed.
Para no olvidarlo.