DataOps 101

Últimamente ha habido mucha charla en la industria sobre la noción de DataOps. En resumen, este es un marco para trasladar el mismo tipo de agilidad al espacio de análisis que muchas organizaciones de TI han adoptado con el desarrollo de aplicaciones. Los principios de desarrollo iterativo, sprints y fallas rápidas pueden aplicarse igualmente bien aquí, pero antes de que caigamos en la madriguera del conejo de la jerga tecnológica, veamos algo de perspectiva sobre lo que hace que la analítica sea lenta en primer lugar.

La mayoría de los analistas de datos y científicos de datos se sienten bastante cómodos con el concepto de consultas rápidas ad hoc, que es la forma en que pasan la mayor parte de su tiempo. Se especializan en hacer una pregunta creativa que no sabían que tenían cinco minutos antes, y aportan una gran cantidad de experiencia y habilidad técnica para dar sentido a los datos de nuevas maneras. El reto para este grupo es conseguir los datos correctos en primer lugar o pivotar hacia una nueva fuente de datos cuando una hipótesis falla. Fallar rápido es genial, pero no si toma semanas o meses para empezar de nuevo. Muchas veces, a los analistas se les dice que pasarán de 2 a 10 semanas antes de que sus datos estén disponibles. Por lo tanto, el principal cuello de botella de los DataOps parece residir en la alineación de la tubería de aprovisionamiento de datos con el equipo de análisis, no en las habilidades de la comunidad de analistas.

Pero en lugar de limitarse a hablar de datos y análisis, creo que es esencial ampliar un poco la apertura para incluir el contexto en torno a cuándo se necesitarán los datos y el ciclo analítico que generará. La tubería de datos debe considerarse como cualquier proceso operativo, alineando conceptos clave de fabricación como la planificación de la cadena de suministro, la planificación de recursos y la planificación de la distribución. Esto requiere un nuevo marco para alinear 4 puntos clave:

1.- Estrategia de Negocio

2.- Disponibilidad de datos

3.- Ejecución de análisis

4.- Operacionalización de la Analítica

5.- Desglosemos las actividades y herramientas clave para hacer posible este proceso.

Estrategia de Negocio

En el corazón de cualquier problema de análisis, hay una necesidad de negocio. Aunque esto parece obvio, es notable lo difícil que es mantener la alineación entre la ejecución analítica y la suite C. Esto se debe en gran medida a que la cultura popular ha descrito las estrategias analíticas modernas como el aprendizaje automático y la inteligencia artificial como técnicas y más allá de la comprensión de los meros mortales. Como resultado, los ejecutivos a menudo delegan la estrategia analítica a la tecnología, lo cual es absolutamente un enfoque equivocado. Los ejecutivos deben centrarse en la conexión de la estrategia con los momentos de negocio que pueden ser alterados a través de los datos. Amazon y Netflix son considerados maestros de "atrapar al cliente en el acto de decidir", pero este enfoque podría ser más ubicuo con un poco de creatividad. Imagínese un médico que decide sobre un diagnóstico influenciado por el análisis, un cliente bancario que elige el mejor instrumento de préstamo para expandir su casa, o un cliente de seguros que recibe análisis sobre el impacto climático e influye en ellos para que inviertan en seguros contra inundaciones. Las empresas necesitan invertir en procesos que ayuden a identificar, priorizar y financiar estos proyectos de análisis como parte de un proceso cuidadosamente gestionado. También necesitan entender claramente cómo se medirán estos proyectos analíticos para la creación de valor.

Disponibilidad de datos

Si sabemos qué estrategias están impulsando la analítica, podemos centrar nuestra atención en los datos que podrían ser importantes para esta analítica. ¿Retracción de clientes? Obtenga registros web, datos demográficos de los clientes y transacciones. ¿Riesgo de propiedad? Pruebe con datos meteorológicos, geoespaciales y de pérdidas. Las empresas deben centrarse en establecer un catálogo de datos basado en casos de uso claro. Necesitan la capacidad de incorporar, perfilar, describir, asegurar y, potencialmente, preparar y ofuscar datos rápidamente en anticipación a los sprints analíticos. Un concepto clave aquí son los datos sobre la demanda de análisis. Los procesos deben ser robustos para poner los datos en las estanterías antes de la ejecución de los análisis, lo que requiere una velocidad medida en horas en lugar de semanas para la incorporación de los datos y el catálogo. El gobierno de datos en este contexto no se trata de torturar los datos en la verdad, sino más bien de definir, clasificar y aprovisionar claramente los activos de datos a las personas que están autorizadas a verlos a gran velocidad y a gran escala.

Ejecución de análisis

En un mundo democratizado de datos, necesitamos esperar más de nuestras comunidades de usuarios de análisis para leer, trabajar, analizar y discutir con los datos. También necesitamos aumentar las habilidades en cada posición. Los lectores de informes deben convertirse en creadores de informes. Los creadores de informes deben entender el modelado predictivo. Los modeladores predictivos necesitan aprender TensorFlow y tecnologías de aprendizaje de máquinas. Necesitan intentarlo y fracasar rápidamente. Necesitan experimentar con nuevos e interesantes conjuntos de datos. Necesitan seguir una metodología específica para pasar del valor aspiracional de la estrategia de negocio a un valor comprometido que actúe como un detonante para que los usuarios de negocio evalúen y prioricen frente a otras iniciativas. Y lo que es más importante, debe haber un vínculo con el negocio para cuantificar y evaluar el impacto potencial en el negocio y priorizar el despliegue de la producción y el equilibrio con el riesgo.

Operacionalización de la Analítica

Ahora es el momento de desplegar la aplicación en un contexto de producción. Aquí es donde se activa la parte DevOps de los DataOps. ¿El análisis se realiza en tiempo real? ¿Está claramente integrado en una aplicación de forma transparente? Una vez que se pone en producción, probablemente de manera limitada, los procesos de operacionalización deben medir el impacto? Este impacto debe completar el círculo de la estrategia de negocio. ¿Está teniendo la analítica el impacto deseado? ¿Deberíamos cambiar nuestro enfoque? ¿Se trata de un desafío de concepto, utilidad analítica u opción de implementación? Este proceso de circuito cerrado proporcionará un vínculo crítico con la comunidad no técnica y permitirá una medición clara.

Mantengámoslo real