Nos complace anunciar una asociación ampliada entre AWS y Hugging Face para acelerar la capacitación, el perfeccionamiento y la implementación de modelos de lenguaje y visión de gran tamaño que se utilizan para crear aplicaciones de IA generativa. Las aplicaciones de IA generativa pueden realizar una variedad de tareas, que incluyen resumir texto, responder preguntas, generar código, crear imágenes y escribir ensayos y artículos.
AWS tiene una larga historia de innovación en IA generativa. Por ejemplo, Amazon utiliza IA para ofrecer experiencias conversacionales con Alexa, con las que los clientes interactúan miles de millones de veces por semana, y utiliza cada vez más IA generativa como parte de nuevas experiencias como Create with Alexa. Además, M5 es un grupo de búsqueda de Amazon que ayuda a los equipos de Amazon a traer modelos grandes a sus aplicaciones, entrenar modelos grandes para mejorar los resultados de búsqueda en Amazon.com. AWS innova constantemente en todas las áreas de ML, incluida la infraestructura, las herramientas en Amazon SageMaker y los servicios de inteligencia artificial como Amazon CodeWhisperer, un servicio que mejora la productividad de los desarrolladores al generar sugerencias de código basadas en el código IDE y en los comentarios. AWS también creó aceleradores de ML especialmente diseñados para entrenamiento de modelos de visión y lenguaje grande (AWS Trainium) e inferencia (AWS Inferentia) en AWS.
Hugging Face eligió AWS porque ofrece flexibilidad en herramientas modernas para entrenar, perfeccionar e implementar modelos de Hugging Face, incluidos Amazon SageMaker, AWS Trainium y AWS Inferentia. Los desarrolladores que usan Hugging Face ahora pueden optimizar fácilmente el rendimiento y reducir los costos para producir aplicaciones de IA generativas más rápido.
IA generativa altamente eficiente y rentable
La creación, capacitación e implementación de modelos de lenguaje y visión de gran tamaño es un proceso costoso y lento que requiere una gran experiencia en aprendizaje automático (ML). Debido a que los modelos son tan complejos y pueden contener cientos de miles de millones de parámetros, la IA generativa está fuera del alcance de muchos desarrolladores.
Para cerrar esta brecha, Hugging Face ahora se asocia con AWS para facilitar a los desarrolladores el acceso a los servicios de AWS e implementar modelos de Hugging Face específicamente para aplicaciones de IA generativa. Las ventajas son las siguientes: Por ejemplo, las instancias Amazon EC2 Trn1 con tecnología de AWS Trainium brindan un tiempo de capacitación más rápido y ofrecen hasta un 50 % de ahorro de costos en comparación con instancias comparables basadas en GPU. Las nuevas instancias Inf2 de Amazon EC2, con tecnología de la última generación de AWS Inferentia, están destinadas a alojar la última generación de modelos de lenguaje y visión grandes y aumentar el rendimiento de Inf1, ofreciendo hasta 4 veces más rendimiento y hasta 10 veces menos retraso. Los desarrolladores pueden usar AWS Trainium y AWS Inferentia a través de servicios administrados como Amazon SageMaker, un servicio con flujos de trabajo y herramientas de aprendizaje automático. O pueden autogestionarse en Amazon EC2.
¡Empiece hoy!
Los clientes pueden comenzar a usar modelos Hugging Face en AWS de tres maneras: a través de SageMaker JumpStart, Hugging Face AWS Deep Learning Containers (DLC) o tutoriales para implementar sus modelos en AWS Trainium o AWS Inferentia. El DLC Hugging Face está repleto de transformadores optimizados, conjuntos de datos y bibliotecas de tokens que permiten que las aplicaciones generativas de IA se configuren y ejecuten en horas en lugar de semanas con cambios mínimos de código. Los DLC JumpStart y Hugging Face de SageMaker están disponibles en todas las regiones donde está disponible Amazon SageMaker y se proporcionan sin costo adicional. Lea la documentación y los foros de discusión para obtener más información, o pruebe los cuadernos de muestra hoy.