Amazon.com anunció tres nuevas capacidades de analytics que mejoran en forma sustancial el desempeño de los lugares de almacenamiento de datos de Amazon Redshift, lo que facilita considerablemente a los clientes mover y combinar datos en los lugares de almacenamiento de datos, y hace que sea más simple para los usuarios finales obtener más valor de sus datos de negocios usando aprendizaje de máquinas.
- AQUA para Amazon Redshift acelera el sistema de preguntas con un cache nuevo e innovador acelerado por un programa computacional que permite que lo computado se almacene y entregue con un rendimiento de preguntas hasta 10x mejor que cualquier otro lugar de almacenamiento de datos en la nube, que estaría disponible para todos a partir de enero de 2021.
- AWS Glue Elastic Views ayuda a los desarrolladores a construir aplicaciones que usen datos de diversos lugares de almacenamiento de datos con vistas materializadas que combinen y repliquen datos en forma automática datos en lugares de almacenamiento y en bodegas de datos, al igual que en bases de datos.
- Amazon QuickSight Q entrega capacidades de aprendizaje en máquinas para Amazon QuickSight que permite a los usuarios usar expresiones en su propio idioma para hacer preguntas de negocios en la barra de búsqueda de Amazon QuickSight Q y recibir respuestas muy precisas en segundos.
En un solo día, se crean más datos de lo que ocurría en 365 días hace 20 años. De hecho, la cantidad de datos que se creará en los próximos tres años superará la cantidad de datos creada en los últimos 30 años. Las mismas herramientas antiguas no funcionarán en este nuevo mundo de datos. Los clientes de AWS usan una gran variedad de herramientas para análisis para distintos casos de usos, entre las que se incluye Amazon Athena para preguntas sin servidor, Amazon Elasticsearch Service para buscar y visualizar datos de log o bitácora, Amazon Kinesis para procesar corrientes de datos en tiempo real, Amazon Redshift para almacenar datos, y Amazon EMR para ejecutar Apache Spark, Hive, Presto y otros marcos grandes de datos. Estos servicios ofrecen a los clientes de AWS la herramienta apropiada para sus necesidades.
“Con las capacidades que estamos anunciando hoy, estamos entregando un mejor desempeño de gran magnitud para Amazon Redshift, formas nuevas y flexibles para mover fácilmente datos entre lugares de almacenamiento de datos, y permitirá a los clientes hacer preguntas en su propio idioma en tableros de negocios y recibir respuestas en segundos”, dijo Rahul Pathak, VP de Análisis de AWS. “Estas capacidades cambiarán en forma sustantiva la velocidad y facilidad en el uso, por lo cual los clientes podrán obtener valor de sus datos en cualquier escala”.
AQUA (Advanced Query Accelerator) para Amazon Redshift lleva la computación al nivel de almacenamiento de datos y entrega un rendimiento en la rapidez ante preguntas de hasta 10x más que cualquier otro sistema de almacenamiento de datos en la nube
Desde su lanzamiento en el 2012 como el primer lugar de almacenamiento de datos construidos para la nube a un costo de un décimo de los lugares de almacenamiento de datos tradicionales, Amazon Redshift se ha convertido en el lugar de almacenamiento de datos más popular en la nube. A principios de este año, AWS anunció que las instancias de Amazon Redshift RA3 estaban disponibles para todos y permitirían a los clientes computar y almacenar por separado y que tendrían un desempeño hasta 3x mejor que cualquier otro sistema de almacenamiento de datos de la nube. Sin embargo, incluso con las ventajas que se ofrecen con RA3, el rápido crecimiento de los datos que necesitan los clientes para procesar sus lugares de almacenamiento de datos ha llevado a la difícil situación de lograr un equilibrio entre desempeño y economía.
El enfoque que prevalece para el almacenamiento de datos ha sido construir una arquitectura con la cual una gran cantidad de almacenamiento centralizado se ha desplazado a espera que los nodos procesen los datos. El desafío con este enfoque es que haya mucho movimiento de datos entre los datos compartidos y los nodos. Dado que sigue aumentando el volumen de datos en forma impresionante, este movimiento de datos satura el ancho de banda disponible en la red y hace que el desempeño sea más lento. Además del cuello de botella en la red, los CPUs no pueden sostener el crecimiento más rápido de la capacidad de almacenamiento (el desempeño de almacenamiento de SSD ha crecido 6x más rápido que la capacidad de los CPUs de procesar datos de la memoria), lo que crea un nuevo cuello de botella en la CPU u obliga a los clientes a tener una mayor provisión para que su trabajo se haga más rápido.
AQUA para Amazon Redshift es un caché que se distribuye para Amazon Redshift; una innovación que mejora el desempeño para análisis en la nueva escala de datos. AQUA lleva la computación a un nivel nuevo de datos. AQUA lleva la computación a un nivel nuevo de almacenamiento, de manera que no haya que avanzar ni retroceder los datos entre ambos. Esto permite a Amazon Redshift una ejecución hasta diez veces más rápida que los antiguos sistemas de almacenamiento de datos. El caché de AQUA escala y procesa datos en paralelo en muchos nodos. Cada nodo posee un módulo de hardware compuesto de procesadores analíticos diseñados por AWS que aumentan significativamente la compresión de datos y su encriptación, y las tareas de procesamiento de datos como escaneos, agregados y filtros. AQUA también da a los clientes el beneficio agregado de poder hacer computación con el almacenamiento de datos crudos, lo que ahorra tiempo que de otra forma se podría ocupar en los datos. Con esta arquitectura nueva y el orden de magnitud que incluye, los clientes de Redshift tendrán tableros más actualizados, ahorrarán tiempo en desarrollo y será más fácil mantener sus sistemas.
AWS Glue Elastic Views permite a los desarrolladores construir vistas materializadas que combinen y repliquen en forma automática los datos en múltiples lugares de almacenamiento de datos
AWS Glue Elastic View entrega a los desarrolladores capacidades nuevas para construir en forma fácil vistas materializadas (que se llaman también tablas virtuales) que combinan y replican datos en forma automática en varios lugares de almacenamiento de datos. AWS Glue es un sistema de preparación de datos sin servidor que hace más fácil ejecutar, extraer, transformar y cargar trabajos (ETL) para análisis y aprendizaje de máquinas. Con AWS Glue Elastic Views, los clientes pueden usar SQL para crear una vista materializada de los datos que quieren combinar de distintos lugares de almacenamiento de datos, y AWS Glue Elastic Views copia los datos para crear la vista materializada de distintas fuentes.
AWS Glue Elastic Viewscopia los datos de cada base de datos fuente a una base de datos objetivo, y mantiene los datos en forma automática en la base datos objetivo actualizada. Elastic Views monitorea continuamente la base de datos fuente por cambios y actualiza la base de datos objetivo en segundos. Si hay cambios en el modelo de datos en una de las bases de datos fuente, Elastic Views alerta en forma proactiva a los desarrolladores, de manera que puedan actualizar su vista materializada para adaptarla a los cambios. Los clientes también pueden usar Elastic Views para copiar datos operacionales de una base de datos operacionales a su lago de datos para ejecutar análisis en tiempo casi real. AWS Glue Elastic Views escala en forma automática la capacidad de acomodar las cargas de trabajo a medida que aumentan o disminuyen, y asegura que las vistas materializadas en las bases de datos objetivo estén actualizadas.
Amazon QuickSight Q es una capacidad para aprender de la máquina para Amazon QuickSight que permite a los usuarios tipear en su propio idioma preguntas sobre sus datos de negocios y recibir respuestas precisas en segundos
Amazon QuickSight e un servicio de inteligencia de negocios (BI) construido para la nube y es escalable, no usa servidor, está encriptado y se basa en el aprendizaje de máquinas. Amazon QuickSight entrega todos los beneficios de una solución de servicios de BI moderna, interactiva y con autoservicio. Tiene capacidades para que sea más fácil encriptar los tableros en aplicaciones y está a una escala económica que permite dar soporte a miles de clientes.
A los clientes les gustan narrativas que pueden leer humanos, porque les permiten interpretar rápido los datos en un tablero compartido y focalizarse en los insights atingentes. A los clientes también les interesa hacer preguntas de negocios de sus datos en un lenguaje directo y recibir respuestas casi en tiempo real. Mientras las herramientas de BI y sus vendedores han tratado de solucionar este desafío con Natural Language Query (NLQ), los enfoques existentes exigen que los clientes destinen meses por anticipado para preparar y construir un modelo, y que después no haya cómo hacer preguntas que requieren cálculos nuevos que no están predefinidas en el modelo de datos.
Amazon QuickSight Q permite a los usuarios hacer preguntas sobre sus datos en su propio idioma y recibir una respuesta en segundo. Para plantear una pregunta, los usuarios simplemente escriben en la barra de preguntas de Amazon QuickSight Q. Mientras los usuarios tipean sus preguntas, Amazon QuickSight Q entrega sugerencias automáticas completas con frases claves y con términos del negocio, y aplica un corrector de ortografía en forma automática y hace calzar siglas con sinónimos, de manera que los usuarios no tengan que preocuparse por errores de ortografía ni recordar los términos exactos del negocio en referencia a los datos. Amazon QuickSight Q usa aprendizaje profundo y aprendizaje automático (el procesamiento es en el idioma propio, los esquemas se entienden y se realiza un análisis semántico par la generación de código SQL) para generar un modelo de data que entienda en forma automática el significado entre los datos de negocios, de manera que los usuarios reciban respuestas muy precisas a sus preguntas de negocios y no tengan que esperar días o semanas un modelo de datos que hay que construir.
Dado que Amazon QuickSight Q hace que no se requieran equipos de BI para construir un modelo de datos, los usuarios tampoco están limitados a sólo un set específico de preguntas. Además, los usuarios pueden recibir respuestas completas y precisas, porque la pregunta se aplica a todos los datos, no solo a conjuntos de datos en un modelo predeterminado. Amazon QuickSight Q tiene experiencia en datos de muchos ámbitos y en industrias de ventas, marketing, operaciones, comercio detallista, recursos humanos, farmacéutica, seguros, energía y otras, y está optimizado para entender también lenguajes complejos de negocios. Por ejemplo, los usuarios de ventas pueden preguntar “cómo se están rastreando mis ventas versus las cotizaciones” o los usuarios de retail pueden preguntar “cuáles son los productos que más se venden en una semana por región”.