AI Architecture Audit: Systematic Assessment of AI-Enabled Systems

Generic, brand-neutral engineering capability; sourced playbooks in references//knowledge/. [DOC]

TL;DR

Auditar arquitecturas de sistemas de IA existentes contra mejores prácticas, identificando gaps en calidad, seguridad, patrones, y deuda técnica. Produce un informe de auditoría con findings categorizados por severidad, evidencia por cada hallazgo, y un roadmap de remediación priorizado por impacto y urgencia [EXPLICIT]

When to Use

• Evaluar la salud arquitectónica de un sistema AI existente antes de escalar
• Detectar anti-patrones (Training-Serving Skew, YOLO Deploy, Silent Degradation) en producción
• Auditar compliance y seguridad de sistemas AI para requisitos regulatorios
• Inventariar deuda técnica específica de AI (model drift, pipeline jungle, feature sprawl)
• Evaluar readiness de un sistema AI para migración, upgrade, o modernización
• Due diligence técnica de sistemas AI en adquisiciones o partnerships
• Preparar un sistema AI para auditoría externa (SOC2, HIPAA, PCI-DSS)

When NOT to Use

• Diseñar una nueva arquitectura AI → ai-software-architecture
• Diseñar pipelines AI nuevos → ai-pipeline-architecture
• Seleccionar patrones de diseño → ai-design-patterns
• Definir estrategia de testing → ai-testing-strategy
• Diseñar arquitectura GenAI → genai-architecture
• Auditar específicamente infraestructura AWS → aws-architecture-audit
• Implementar remediaciones → ai-architecture-implementation

---

Sub-capabilities (resource map)

Deep, evidence-tagged playbooks — open the one the task needs (ICM Layer 3, on-demand). [INFERENCE]

Procedure

1. Resolve the sub-capability; open the matching references/ playbook. [EXPLICIT]
2. Apply its decision tables; pick the strategy explicitly. [EXPLICIT]
3. Validate against the Quality Criteria and tag every claim. [EXPLICIT]

Quality Criteria

• Sub-capability resolved to one playbook. [INFERENCE]
• Claims evidence-tagged. [EXPLICIT]

Contract

• Aceptación: capability resolved to its reference playbook, applied, validated, evidence-tagged. [EXPLICIT]
• Límites: 1. NO implementa remediaciones — solo identifica y prioriza (ver ai-architecture-implementation) 2. NO reemplaza una auditoría de seguridad formal — complementa con perspectiva. [EXPLICIT]
• Casos borde: 1. Sistema sin monitoreo: Muchas métricas de quality attributes serán "desconocidas". El primer finding es "implementar observabilidad básica antes de poder auditar quality att. [EXPLICIT]
• Supuestos: 1. Acceso al código fuente, configuraciones, y métricas de producción del sistema AI 2. Acceso a stakeholders técnicos para entrevistas y clarificaciones 3. El sistema está despleg. [SUPUESTO]
• Trade-off: Audit Mode Coverage Depth Effort When to Use ------------ ---------- ------- -------- ------------- Express Top findings only Surface 1-2 días Quick hea. [EXPLICIT]

Packet

Capas del packet, cargables bajo demanda (disciplina ICM: una capa por vez, nunca todas juntas): references/ guías de profundidad (cargar UNA por etapa) · knowledge/ cuerpo de conocimiento · prompts/ prompts listos · examples/ salida de ejemplo · agents/ subagentes del packet · assets/ recursos estáticos.