Revisa código generado por IA por modos de fallo de seguridad que asistentes de IA comúnmente pasan por alto: riesgos de prompt injection, exposición de credenciales, vulnerabilidades de dependencias, deserialización insegura y gaps de control de acceso. Esta habilidad detecta lo que los agentes pierden cuando optimizan por funcionalidad sobre seguridad, especialmente en código que maneja input de usuario, autenticación o datos externos.
Casos de uso
- Revisando código de terceros generado por IA antes de integrarlo en un codebase sensible a seguridad
- Auditando output de asistente de IA que maneja autenticación de usuario, procesamiento de pagos o datos personales
- Pre-deploy security check para una funcionalidad de IA donde el output del modelo se convierte en parte de un command o query de sistema
- Revisando código que usa tool-calling o capacidades de plugin donde inputs maliciousos podrían ser inyectados a través del modelo
- Evaluando código generado por IA para cumplimiento con un framework de seguridad específico (OWASP Top 10, controles SOC 2)
Funciones principales
- Check para vectores de inyección: cualquier lugar donde output de modelo, input de usuario o datos externos son ejecutados, evaluados o usados en un command de sistema sin validación
- Audita manejo de credenciales y secrets: verifica que API keys, tokens y passwords nunca son loggeados, expuestos en mensajes de error o almacenados en código
- Revisa declaraciones de dependencias por vulnerabilidades conocidas usando una base de datos de CVE, prestando especial atención a nuevas dependencias añadidas por la IA
- Verifica boundaries de control de acceso: confirma que el código enforcea autenticación y autorización en las capas apropiadas, no solo en la UI
- Check para deserialización insegura, SQL injection, XXE y otras vulnerabilidades web clásicas que asistentes de IA frecuentemente introducen cuando generan boilerplate
Relacionados
Relacionados
3 Entradas indexadas
OWASP GenAI LLM Top 10 (v1.1) threat review checklist
Alinea la taxonomía oficial OWASP Top 10 for Large Language Model Applications (v1.1), de LLM01 Prompt Injection hasta LLM10 Model Theft, con un checklist ejecutable para arquitectos que revisan RAG, agentes, complementos y pipelines citando genai.owasp.org. Cada entrada resume el riesgo descrito públicamente por OWASP—incluyendo manipulación de prompts, manejo inseguro de salidas, envenenamiento del entrenamiento, abuso de cómpute, cadena suministro, filtraciones sensibles, plugins con privilegio excesivo, agencias no acotadas, dependencia irracional frente al modelo y robo del weights—emparejándola controles concretos de políticas, supervisión y hardening toolchain.
Responsible AI accessibility data review
Convierte módulos de IA responsable de Microsoft Learn y patrones de remediación de accesibilidad en una lista para funciones generativas (imágenes, código, UI). Verifica brechas de datos (p. ej. estereotipos sobre personas ciegas), audita metadatos de datasets inclusivos, documenta correcciones con humanos en el bucle y alinea con el principio de que las personas siguen siendo responsables de los resultados de la IA.
Receiving code review
Estructura cómo respondes al feedback de revisión de código para que el proceso de revisión se mantenga enfocado, respetuoso y productivo. Esta habilidad separa feedback sustantivo de-nitpicks, rastrea seguimientos sin perderlos y produce un registro que hace los merges más rápidos y los post-mortems más claros.