Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

¿Qué es Amazon FSx for Lustre?

FSxfor Lustre hace que sea fácil y rentable lanzar y ejecutar el popular sistema de alto rendimiento Lustre sistema de archivos. Utiliza Lustre para cargas de trabajo en las que la velocidad es importante, como el aprendizaje automático, la informática de alto rendimiento (HPC), el procesamiento de vídeo y la elaboración de modelos financieros.

El código abierto Lustre El sistema de archivos está diseñado para aplicaciones que requieren un almacenamiento rápido, donde desea que su almacenamiento esté a la altura de su procesamiento. Lustre se creó para resolver el problema de procesar de forma rápida y económica los crecientes conjuntos de datos del mundo. Es un sistema de archivos muy utilizado diseñado para los ordenadores más rápidos del mundo. Proporciona latencias inferiores a un milisegundo, con un rendimiento de hasta cientos y hasta millones GBps de. IOPS Para obtener más información sobre las Lustre, consulte la Lustre sitio web.

Como servicio totalmente gestionado, Amazon te FSx facilita su uso Lustre para cargas de trabajo en las que la velocidad de almacenamiento es importante. FSxfor Lustre elimina la complejidad tradicional de configurar y administrar Lustre sistemas de archivos, lo que le permite poner en marcha y ejecutar un sistema de archivos de alto rendimiento probado en cuestión de minutos. También ofrece múltiples opciones de implementación para que pueda optimizar los costes en función de las necesidades.

FSxfor Lustre es POSIX compatible, por lo que puede utilizar sus aplicaciones actuales basadas en Linux sin tener que realizar ningún cambio. FSxfor Lustre proporciona una interfaz de sistema de archivos nativa y funciona como cualquier sistema de archivos con su sistema operativo Linux. También proporciona read-after-write coherencia y admite el bloqueo de archivos.

Múltiples opciones de implementación

Amazon FSx for Lustre ofrece una variedad de sistemas de archivos temporales y persistentes para adaptarse a las diferentes necesidades de procesamiento de datos. Los sistemas de archivos temporales son ideales para el almacenamiento temporal y el procesamiento de datos de corto plazo. Los datos no se replican y no persisten si un servidor de archivos falla. Los sistemas de archivos persistentes son ideales para el almacenamiento de largo plazo y las cargas de trabajo centradas en el rendimiento. En los sistemas de archivos persistentes, los datos se replican y los servidores de archivos se sustituyen si fallan. Para obtener más información, consulte Opciones de implementación FSx para sistemas de archivos Lustre.

Múltiples opciones de almacenamiento

Amazon FSx for Lustre ofrece una variedad de opciones de almacenamiento en unidades de estado sólido (SSD) y unidades de disco duro (HDD) optimizadas para diferentes requisitos de procesamiento de datos:

Si aprovisiona un sistema de archivos con la opción de HDD almacenamiento, también puede aprovisionar una SSD caché de solo lectura con un tamaño del 20 por ciento de su capacidad de almacenamiento. HDD Esto proporciona latencias inferiores a un milisegundo o superiores para los archivos a los que se accede con frecuencia. IOPS Tanto los SSD sistemas de archivos HDD basados como los basados se aprovisionan con SSD servidores de metadatos basados. Como resultado, todas las operaciones de metadatos, que representan la mayoría de las operaciones del sistema de archivos, se entregan con latencias inferiores a un milisegundo.

Para obtener más información sobre el rendimiento de estas opciones de almacenamiento, consulte Rendimiento de Amazon FSx for Lustre.

FSxpara Lustre y repositorios de datos

Puede vincular los sistemas FSx de archivos de Lustre a los repositorios de datos de Amazon S3 o a los almacenes de datos locales.

FSxpara la integración del repositorio de datos de Lustre S3

FSxfor Lustre se integra con Amazon S3, lo que le facilita el procesamiento de conjuntos de datos en la nube mediante el Lustre sistema de archivos de alto rendimiento. Cuando se vincula a un bucket de Amazon S3, un sistema de archivos FSx for Lustre presenta de forma transparente los objetos S3 como archivos. Amazon FSx importa listados de todos los archivos existentes en su bucket de S3 al crear el sistema de archivos. Amazon también FSx puede importar listados de archivos añadidos al repositorio de datos una vez creado el sistema de archivos. Puede configurar las preferencias de importación para que se ajusten a las necesidades de su flujo de trabajo. El sistema de archivos también le permite volver a escribir los datos del sistema de archivos en S3. Las tareas de repositorio de datos simplifican la transferencia de datos y metadatos entre su sistema de archivos FSx for Lustre y su repositorio de datos duradero en Amazon S3. Para obtener más información, consulte Uso de repositorios de datos con Amazon FSx for Lustre y Tareas de repositorio de datos.

FSxpara repositorios de datos locales y de Lustre

Con Amazon FSx for Lustre, puede dividir sus cargas de trabajo de procesamiento de datos del entorno local en el entorno local importando datos Nube de AWS mediante o. AWS Direct Connect AWS VPN Para obtener más información, consulte Uso de Amazon FSx con tus datos locales.

Acceso a los sistemas de archivos FSx Lustre

Puede mezclar y combinar los tipos de instancias de procesamiento y las Amazon Machine Images (AMIs) de Linux que están conectadas a un único sistema de archivos FSx for Lustre.

Se puede acceder a los sistemas de archivos de Amazon FSx for Lustre desde cargas de trabajo informáticas que se ejecutan en instancias de Amazon Elastic Compute Cloud EC2 (Amazon), contenedores Docker de Amazon Elastic Container Service ECS (Amazon) y contenedores que se ejecutan en Amazon Elastic Kubernetes Service (Amazon). EKS

Amazon FSx for Lustre es compatible con los sistemas Linux más populares, AMIs incluidos Amazon Linux 2023 y Amazon Linux 2, Red Hat Enterprise Linux ()RHEL, Centos, Ubuntu y Linux. SUSE La Lustre el cliente está incluido en Amazon Linux 2023 y Amazon Linux 2. ParaRHEL, Centos y Ubuntu, un AWS Lustre el repositorio de clientes proporciona clientes que son compatibles con estos sistemas operativos.

Con FSx for Lustre, puede distribuir sus cargas de trabajo con un uso intensivo de cómputo desde las instalaciones locales Nube de AWS importando datos a través de o. AWS Direct Connect AWS Virtual Private Network Puede acceder a su sistema de FSx archivos de Amazon desde las instalaciones, copiar los datos en su sistema de archivos según sea necesario y ejecutar cargas de trabajo con un uso intensivo de recursos informáticos en instancias en la nube.

Para obtener más información sobre los clientes, las instancias de procesamiento y los entornos desde los que puede acceder FSx a los sistemas de archivos de Lustre, consulte. Acceso a sistemas de archivo

Integraciones con servicios AWS

Amazon FSx for Lustre se integra con Amazon SageMaker AI como fuente de datos de entrada. Al utilizar la SageMaker IA con FSx for Lustre, sus trabajos de formación en aprendizaje automático se aceleran al eliminar el paso inicial de descarga de Amazon S3. Además, su costo total de propiedad (TCO) se reduce al evitar la descarga repetitiva de objetos comunes para trabajos iterativos en el mismo conjunto de datos, lo que ahorra en costos de solicitudes de S3. Para obtener más información, consulte ¿Qué es la SageMaker IA? en la Guía para desarrolladores de Amazon SageMaker AI. Para ver un tutorial sobre cómo utilizar Amazon FSx for Lustre como fuente de datos para la SageMaker IA, consulte Acelera el entrenamiento sobre Amazon SageMaker AI con Amazon FSx for Lustre y los sistemas de EFS archivos de Amazon en el blog AWS Machine Learning.

FSxporque Lustre se integra con AWS Batch el uso de plantillas de lanzamiento. EC2 AWS Batch le permite ejecutar cargas de trabajo informáticas por lotes en el entorno Nube de AWS, incluidas cargas de trabajo de computación de alto rendimiento (HPC), aprendizaje automático (ML) y otras cargas de trabajo asíncronas. AWS Batch dimensiona las instancias de forma automática y dinámica en función de los requisitos de recursos del trabajo. Para obtener más información, consulte ¿Qué es AWS Batch? en la Guía AWS Batch del usuario.

FSxporque Lustre se integra con AWS ParallelCluster. AWS ParallelCluster es una herramienta de administración AWS de clústeres de código abierto compatible que se utiliza para implementar y administrar clústeres. HPC Puede crear automáticamente FSx para los sistemas de archivos de Lustre o utilizar los sistemas de archivos existentes durante el proceso de creación del clúster.

Seguridad y conformidad

FSxpara los sistemas de archivos Lustre, admite el cifrado en reposo y en tránsito. Amazon cifra FSx automáticamente los datos del sistema de archivos en reposo mediante claves gestionadas en AWS Key Management Service (AWS KMS). Los datos en tránsito también se cifran automáticamente en los sistemas de archivos, en algunos casos Regiones de AWS cuando se accede a ellos desde EC2 instancias de Amazon compatibles. Para obtener más información sobre el cifrado de datos en FSx Lustre, incluidos los Regiones de AWS casos en los que se admite el cifrado de datos en tránsito, consulteCifrado de datos en Amazon FSx for Lustre. Se FSx ha evaluado que Amazon cumple con las SOC certificacionesISO, PCI - yDSS, por lo tanto, cumple HIPAA los requisitos. Para obtener más información, consulte Seguridad en Amazon FSx for Lustre.

Suposición

En esta guía, hacemos las siguientes suposiciones:

Precios de Amazon FSx for Lustre

Con Amazon FSx for Lustre, no hay costes iniciales de hardware o software. Solo paga por los recursos utilizados, sin compromisos mínimos, costos de configuración ni tarifas adicionales. Para obtener información sobre los precios y las tarifas asociadas al servicio, consulta los precios de Amazon FSx for Lustre.

Foros FSx de Amazon for Lustre

Si tienes problemas al usar Amazon FSx for Lustre, consulta los foros.

¿Es la primera vez que utilizas Amazon FSx for Lustre?

Si es la primera vez que utiliza Amazon FSx for Lustre, le recomendamos que lea las siguientes secciones en orden: