Buscamos cada vez más datos por una buena razón: es el producto que impulsa la innovación digital. Sin embargo, convertir esas enormes colecciones de datos en una visión procesable sigue siendo una propuesta difícil.
Las organizaciones que encuentren soluciones a desafíos de datos formidables estarán mejor posicionadas para beneficiarse económicamente de los frutos de la innovación digital.
Con esa premisa básica en mente, te presentamos las tendencias en big data retail que las organizaciones con visión de futuro deben tener en cuenta en 2019.
1. La gestión de datos sigue siendo difícil
La gran idea detrás del análisis de big data es bastante clara: encuentre patrones interesantes ocultos en grandes cantidades de datos, capacita modelos de aprendizaje automático para detectar esos patrones e implementa esos modelos en producción para que actúen automáticamente sobre ellos.
Sin embargo, la realidad de poner esa receta básica en producción es mucho más difícil de lo que parece. Para empezar, acumular datos de diferentes silos es difícil y requiere habilidades ETL y de base de datos.
Limpiar y etiquetar los datos para la capacitación de aprendizaje automático también requiere mucho tiempo y dinero, especialmente cuando se utilizan técnicas de aprendizaje profundo. Y, por último, poner un sistema de este tipo en producción a escala de manera segura y confiable requiere otro conjunto de habilidades por completo.
Por estas razones, la administración de datos sigue siendo un gran desafío, y los ingenieros de datos continuarán estando entre las personas más buscadas en el equipo de big data.
2. Los silos de datos continúan proliferando
La base de datos relacional, las bases de datos de gráficos, las bases de datos de series de tiempo, HDFS y las tiendas de objetos tienen sus respectivas fortalezas y debilidades. Los desarrolladores no pueden maximizar las fortalezas si han agrupado todos sus datos en un lago.
En algunos casos, tiene sentido juntar muchos datos en un solo lugar. Los almacenes de datos en la nube como Cloud Storage o BigQuery de Google, por ejemplo, proporcionan a las empresas un almacenamiento flexible y rentable.
3. La gobernabilidad de los datos
Algunas personas llaman a los datos el «nuevo petróleo». También se le conoce como la «nueva moneda». Sea cual sea la analogía que desees utilizar, todos estamos de acuerdo en que los datos tienen valor y que tratarlos de manera descuidada conlleva un riesgo.
La Unión Europea explicó las consecuencias financieras de la mala gestión de los datos con la promulgación del GDPR el año pasado.
Las violaciones de datos están llevando el tema a la cabeza. Según una encuesta en línea realizada por The Harris Poll, casi 60 millones de estadounidenses se vieron afectados por el robo de identidad en 2018. Eso es un aumento del 300% con respecto a 2017, cuando solo 15 millones dicen que fueron afectados.
4. Las habilidades cambian a medida que la tecnología evoluciona
Los recursos humanos suelen ser los costos más altos en un proyecto de big data, porque en última instancia, las personas son las que lo construyen, lo ejecutan y hacen que todo funcione.
Encontrar a la persona adecuada con las habilidades adecuadas es absolutamente fundamental para convertir los datos en información, sin importar qué tecnologías o técnicas estés utilizando.
Pero a medida que la tecnología avanza, la combinación de habilidades también lo hace. En 2019, puedes esperar una demanda enorme y constante para cualquiera que pueda poner en producción una red neuronal.
Entre los meros científicos de datos (a diferencia de los expertos legítimos de IA), Python continúa dominando entre los idiomas, aunque hay mucho trabajo para las personas que conocen R, SAS, Matlab, Scala, Java y C.
A medida que los programas de gobierno de datos se ponen en marcha, la demanda de administradores de datos aumentará.
Los ingenieros de datos que pueden trabajar con las herramientas principales (bases de datos, Spark, Airflow, etc.) continuarán viendo crecer sus oportunidades. También puedes esperar que la demanda de ingenieros de aprendizaje automático se acelere.
Sin embargo, gracias al avance de las plataformas de ciencia de datos automatizadas, las organizaciones podrán lograr bastante con simples analistas de datos, o «científicos de datos ciudadanos», como se les conoce comúnmente.
El conocimiento de los datos y el negocio, a diferencia de la experiencia en estadísticas y codificación, puede llevarte más lejos de lo que imaginaste.
5. La nueva tecnología surgirá
Muchos de los principales marcos de datos de big data y las bases de datos que impulsan la innovación en la actualidad fueron creados por los gigantes de la Web en Silicon Valley y se lanzaron como código abierto. La buena noticia es que la innovación puede estar acelerando.
En 2019, los profesionales de big data harían bien en conservar la mayor flexibilidad posible en sus creaciones. Si bien puede ser tentador cimentar su aplicación a una determinada tecnología por razones de rendimiento, podría volver a atormentarte cuando se presente algo mejor y más rápido.
En la medida de lo posible, intenta mantener tus aplicaciones «débilmente acopladas, pero estrechamente integradas», porque eventualmente tendrás que desarmarlas y reconstruirlas.
En 2019, se avanzará en una multitud de frentes. Sí, existen grandes obstáculos técnicos, legales y éticos presentados por big data y AI, pero los beneficios potenciales son demasiado grandes como para ignorarlos y aliados como ITfluence te ayudarán a encontrar la mejor forma de hacer las cosas.
