Amazon S3 Metadata (ознакомительная версия)

В CMT мы храним и анализируем несколько петабайт данных с мобильных устройств Интернета вещей по всему миру для повышения безопасности водителей и дорожного движения. По мере масштабирования поиск конкретных данных для разработки новых идей и моделей становится все труднее. Метаданные S3, в частности возможность их настройки, позволяют аннотировать и хранить все метаданные в управляемой таблице с возможностью запросов. Теперь для поиска релевантных данных требуется всего один эффективный и экономичный SQL-запрос. Таким образом, S3 Metadata меняет правила игры и позволяет нам предлагать своим клиентам новые возможности.

S3 Metadata предоставляет нам простой и понятный механизм анализа триллионов объектов S3 с помощью стандартных инструментов, таких как Amazon Athena и Amazon QuickSight. Благодаря этой функциональности мы можем тратить время на принятие решений, а не на создание сложных конвейеров данных для доступа к метаданным объектов S3 и запросов к ним.

S3 Metadata ускоряет реализацию наших инициатив в области генеративного ИИ. По мере того как мы создаем приложения LLM, такие как внутренние чат-боты для наших команд, неструктурированные данные, такие как PDF-файлы, становятся все более ценными. Нам необходимо загрузить множество документов, относящихся к конкретным доменам, в приложении с дополненной извлеченными данными генерацией (RAG), чтобы чат-бот мог адаптироваться к конкретным бизнес-контекстам Roche. Однако это также означает, что у нас появляется все больше и больше неструктурированных данных, которыми нам необходимо управлять. Нам нужна система метаданных для эффективного описания неструктурированных данных, чтобы пользователи могли быстро просматривать наше озеро данных и находить релевантные наборы для приложений на основе генеративного ИИ. С помощью S3 Metadata создание надежной системы метаданных упростилось до нескольких щелчков мышью в Консоли управления AWS. Поскольку мы постоянно получаем все больше неструктурированных данных, S3 Metadata автоматически обрабатывает и поддерживает их в актуальном состоянии. Мы также используем собственную систему Lambda для извлечения специфичных для бизнеса метаданных, таких как классификация документов на основе таксономии, относящейся к Roche, и хранения этих метаданных в одном каталоге вместе с таблицей метаданных S3, чтобы с помощью простого SQL-соединения мы могли получить все необходимые метаданные. S3 Metadata помогает нам быстрее создавать приложения на основе генеративного ИИ, что позволяет нам сосредоточиться на создании, а не на организации данных.

Представьте, что вы летите на машине времени, просматривая данные Amazon S3. Компании SmugMug и Flickr более 22 лет хранят фотографии своих клиентов и сотни миллиардов объектов в S3. Новая функция S3 Metadata позволяет нам легко и доступно изучать метаданные объектов S3, например отслеживать изменения размера объектов со временем, чтобы лучше понимать динамику наших данных. Ранее для этого требовалось сочетание дорогостоящих запросов к базам данных и анализа инвентаризации объектов. Теперь этот процесс стал намного проще. Понимание того, как наши фотографы используют хранилище, помогает нам совершенствовать платформы и создавать лучшее будущее через фотографию.

Solink ежемесячно обрабатывает более 500 миллионов часов видео, объединяя записи с камер наблюдения с критически важными бизнес-данными из более чем 350 источников. AWS поддерживает инфраструктуру, на которую мы полагаемся, и Amazon S3 Metadata пойдет дальше, предоставляя аналитические данные в реальном времени, улучшающие управление контентом: от мониторинга хранения и использования до отслеживания последствий изменений конфигурации клиентов в реальном времени.

Amazon S3 стал ведущим поставщиком облачных хранилищ для различных типов данных. Метаданные Amazon S3 позволят таким поставщикам, как Commvault, активно выявлять и защищать конфиденциальную информацию, а также автоматизировать такие элементы, как многоуровневое хранение данных, и улучшать результаты для наших общих клиентов. S3 Metadata способствует эффективной организации данных и упрощает их поиск, позволяя детально аннотировать объекты, что крайне важно для обеспечения киберустойчивости в облаке.

Являясь лидером в области наблюдаемости, движок обработки данных New Relic ежедневно обрабатывает около 1,3 эксабайта данных Amazon S3. S3 Metadata ускорит наши инновации, автоматически генерируя подробные метаданные объектов, тем самым упрощая изучение данных, необходимых нашим командам для экспериментов с продуктами и подтверждения концепции, например разработки новых метрик, полезных для наших клиентов. S3 Metadata сократит наши усилия по созданию и обслуживанию надежной системы метаданных с сотен часов до нескольких щелчков мышью в консоли управления S3, что позволит нашим инженерам сосредоточиться на анализе данных, а не на их организации.