Red Hat Summit요약
인공지능(AI) 플랫폼은 머신 러닝 모델을 개발하고 학습시키고 실행하기 위한 기술의 통합 컬렉션입니다. 이 컬렉션에는 일반적으로 자동화 기능, 머신 러닝 운영(Machine Learning Operations, MLOps), 예측 데이터 분석 등이 포함됩니다. 이 컬렉션을 작업대라고 생각해 보세요. 작업에 필요한 모든 툴이 펼쳐져 있고, 무언가를 만들고 다듬을 수 있는 안정적인 기반을 제공합니다.
AI 플랫폼을 선택해 시작하기 위한 옵션은 갈수록 증가하고 있습니다. 다음은 AI 플랫폼 선택 시 고려할 사항과 기능입니다.
AI 플랫폼 유형
AI 플랫폼에 대해 조직이 내리는 최초 의사 결정은 사전 구성된 플랫폼을 구매할지 아니면 사내에 사용자 정의 플랫폼을 구축할지 여부입니다.
AI 플랫폼 구입
AI 애플리케이션, 모델, 알고리즘을 신속히 배포하려면 사전 구성된 통합 AI 플랫폼을 구입하는 것이 가장 좋은 옵션입니다. 이러한 플랫폼은 보안과 성능을 위해 사전 테스트가 완료된 툴, 언어 리포지토리, API 등과 함께 제공됩니다. 일부 벤더는 사전 훈련된 기반과 생성형 AI 모델을 제공합니다. 지원 및 온보딩 리소스는 이러한 모델이 기존 환경과 워크플로우에 원활히 통합되도록 합니다.
주요 클라우드 공급업체들은 Amazon Web Services(AWS) Sagemaker, Google Cloud AI Platform, Microsoft Azure AI Platform, IBM의 watsonx.ai™ AI 스튜디오를 비롯한 AI 플랫폼으로 포트폴리오를 확대하고 있습니다. AI 플랫폼 공급업체가 다른 AI 솔루션과 제휴 및 통합이 가능한 독립형 AI 툴을 제공하는 경우도 많습니다.
AI 플랫폼 구축
특정 활용 사례나 고급 개인정보 보호 요구 사항을 충족하기 위해 자체 AI 플랫폼을 완전히 맞춤 설정하거나 관리해야 하는 조직도 있습니다. 예를 들어 Uber는 GPS와 충돌 감지 기능을 개선하기 위해 자연어 처리(NLP)와 컴퓨터 비전 같은 기술을 사용하는 사용자 정의 AI 플랫폼을 개발했습니다. 또한 데이터 중심의 헬스케어 기업인 Syapse의 경우 종양학 데이터를 실행 가능한 인사이트로 변환하는 AI 기반 데이터 플랫폼인 Syapse Raydar®를 개발했습니다.
AI 플랫폼을 구축하면 환경에 대한 전체적인 제어 권한을 갖게 되며 비즈니스의 구체적인 요구 사항에 맞게 반복할 수 있습니다. 그러나 이런 접근 방식으로 플랫폼을 가동하려면 더 많은 선행 작업이 필요합니다. 유지 관리, 지원, 관리를 아웃소싱할 수는 없습니다.
오픈소스 방식
오픈소스 커뮤니티들은 인공지능과 머신 러닝의 발전을 주도하고 있습니다. AI 이니셔티브를 위한 기반으로 오픈소스 소프트웨어 솔루션을 선택한다는 것은 조직에서 가장 많이 사용하는 프레임워크와 툴을 끊임없이 개선하는 업계 종사자와 실무자들의 커뮤니티를 활용할 수 있음을 의미합니다. 많은 조직이 이러한 커뮤니티로부터 제공되는 오픈소스 툴링과 빌드로 시작합니다. Tensorflow와 PyTorch는 AI 애플리케이션 개발을 위한 라이브러리와 프레임워크를 제공하는 오픈소스 플랫폼입니다.
Red Hat 리소스
AI 플랫폼에서 기대할 수 있는 기능
MLOps
머신 러닝 운영(MLOps)은 ML 모델을 배포하고 유지 관리하는 프로세스를 간소화하는 일련의 워크플로우 사례입니다. AI 플랫폼은 모델 훈련, 서빙 및 모니터링과 같은 MLOps 단계를 지원해야 합니다.
대규모 언어 모델 운영(Large Language Model Operations, LLMOps)은 프로덕션 환경에서 대규모 언어 모델의 운영 관리에 사용되는 사례, 기술, 툴에 초점을 맞춘 MLOps의 하위 집합입니다. LLM은 텍스트 생성, 콘텐츠 요약, 정보 분류 등의 태스크를 수행할 수 있지만, GPU에서 엄청난 양의 컴퓨팅 리소스를 가져다 쓰므로 AI 플랫폼은 LLM 입출력을 처리하고 지원할 만큼 강력해야 합니다.
생성형 AI
생성형 AI는 대규모 데이터 세트를 기반으로 학습한 신경망과 딥러닝 모델을 사용하여 새 콘텐츠를 생성합니다. 충분히 학습시킨다면 모델은 학습을 통해 습득한 결과를 실제 상황에 적용할 수 있습니다. 이를 가리켜 AI 추론이라고 합니다.
생성형 AI에는 최종 사용자가 인공지능과 연계하는 여러 기능이 포함됩니다(예: 텍스트 및 이미지 생성, 데이터 증강, 챗봇과 같은 대화형 AI). AI 플랫폼은 생성형 AI 기능을 빠르고 정확하게 지원해야 합니다.
확장성
확장 가능한 모델만 성공할 수 있습니다. 모델 확장을 위해 데이터 사이언스 팀에는 AI 모델을 구축, 배포, 실험 및 미세 조정하고, 다른 팀과 협업 가능한 중앙집중식 솔루션이 필요합니다. 이러한 작업에는 엄청난 양의 데이터와 컴퓨팅 성능이 필요하며 무엇보다도 이 모든 것을 처리할 수 있는 플랫폼이 있어야 합니다.
모델을 성공적으로 구축하고 나면 온프레미스, 퍼블릭 클라우드 플랫폼, 엣지 등 다양한 환경에서 해당 모델을 재현해야 합니다. 확장 가능한 솔루션은 이러한 모든 풋프린트 전반에서 배포를 지원할 수 있습니다.
자동화
조직에서 프로덕션에 배포할 모델이 극히 일부에서 12개 이상으로 증가하면 자동화를 고려해야 합니다. 데이터 사이언스 파이프라인을 자동화하면 가장 성공적인 프로세스를 반복 가능한 운영으로 전환할 수 있습니다. 그러면 워크플로우 속도가 높아질 뿐만 아니라 사용자 환경이 개선되고 예측 가능성과 확장성이 향상됩니다. 또한 반복적인 태스크를 줄여, 데이터 사이언티스트와 엔지니어가 혁신, 반복, 개선에 더 많은 시간을 할애할 수 있게 됩니다.
툴 및 통합
개발자와 데이터 사이언티스트는 애플리케이션과 모델을 구축하고 효율적으로 배포하기 위해 툴과 통합을 활용합니다. AI 플랫폼은 팀에서 이미 사용 중인 툴, 언어, 리포지토리를 지원하는 동시에 전체 기술 스택 및 파트너 솔루션과 통합되어야 합니다.
보안 및 규제
AI 플랫폼과 함께 강력한 보안 사례를 구축하여 리스크를 완화하고 데이터를 보호하세요. 일상적인 훈련 및 개발 운영에서 중요한 것은 CVE(common vulnerabilities and exposures)를 검사하고 액세스 관리, 네트워크 세그멘테이션, 암호화를 통해 애플리케이션과 데이터에 대한 운영 보호 체계를 설정하는 일입니다.
책임 및 거버넌스
아울러 AI 플랫폼은 조직이 윤리적 표준을 지키고 컴플라이언스 위반을 방지하는 식으로 데이터를 사용하고 모니터링할 수 있도록 해야 합니다. 조직의 데이터와 사용자 데이터를 모두 보호하기 위해 ML 라이프사이클 전체에서 가시성, 트랙킹, 리스크 관리 전략을 지원하는 플랫폼을 선택하는 것이 중요합니다. 또한 AI 플랫폼은 조직의 기존 데이터 컴플라이언스와 보안 표준에 부합해야 합니다.
지원
사전 구성된 엔드 투 엔드 AI 플랫폼의 가장 중요한 장점 중 하나는 지원이 기본적으로 제공된다는 것입니다. 배포판 전반에서 확장되는 지속적인 버그 트랙킹 및 문제 해결 기능이 뒷받침될 때 모델의 성능은 향상됩니다. 일부 AI 플랫폼 공급업체는 온보딩과 교육 리소스를 제공하여 팀이 빠르게 시작할 수 있도록 지원합니다. 오픈소스 툴을 사용하여 자체 플랫폼을 빌드하려고 하는 회사는 머신 러닝 기능 세트와 인프라를 위한 지원을 제공하는 벤더를 고려하는 것이 좋습니다.
AI 플랫폼 활용 사례
통신
통합 AI 서비스는 네트워크 성능 최적화, 통신 제품 및 서비스의 품질 강화와 같은 통신 산업의 다양한 부분을 간소화할 수 있습니다. 애플리케이션에는 서비스 및 오디오/비디오 품질 개선, 고객 이탈 방지 기능이 포함됩니다.
보건 의료
보건 의료 환경에 강력한 AI 플랫폼이 사용되면 신속한 진단, 임상 연구 발전, 의료 서비스 이용 확대 등과 같은 혁신적인 혜택이 도입될 수 있습니다. 그 결과 의사를 비롯한 기타 의료계 종사자가 더 정확한 진단과 치료 계획을 제공할 수 있어, 환자의 치료 결과가 향상됩니다.
제조
머신 러닝 기반의 지능형 자동화가 공급망 전반에서 제조 산업을 혁신하고 있습니다. 산업용 로봇과 예측 분석이 반복적인 태스크의 부담을 줄이고 더 효과적인 워크플로우를 실시간으로 구현하고 있습니다.
Red Hat의 지원 방식
AI 플랫폼에 있어 Red Hat의 우선순위는 유연하면서도 신뢰할 수 있는 AI 솔루션을 규모에 맞게 빌드하는 것입니다.
Red Hat® AI는 고객이 이미 신뢰하는 솔루션을 토대로 구축된 Red Hat의 AI 제품 포트폴리오입니다.
Red Hat AI가 조직에게 제공하는 이점은 다음과 같습니다.
- AI를 신속하게 도입하고 활용하여 빠르게 혁신
- AI 솔루션 제공의 복잡성 해소
- 어디서나 배포
유연한 확장
비즈니스를 확장할 준비가 되었다면 개발자에게 AI 지원 애플리케이션을 빌드, 배포하고 관리할 수 있는 툴을 제공하는 Red Hat AI 플랫폼에 대해 알아보세요.
Red Hat AI은 InstructLab이라는 솔루션을 통해 LLM을 개선하기 위한 추가적인 모델 조정 메커니즘도 제공합니다. 이 솔루션은 오픈소스 커뮤니티를 기반으로 LLM 기능을 향상하는 방식을 채택합니다.
지원을 바탕으로 한 지속적 협업을 통해 엔터프라이즈 활용 사례에 맞도록 AI 모델 애플리케이션을 신속하고 간편하게 사용자 정의할 수 있습니다.
솔루션 패턴: Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 생성
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
레드햇 공식 블로그
레드햇 공식 블로그에서 고객, 파트너, 커뮤니티 에코시스템 등 현재 화제가 되는 최신 정보를 살펴 보세요.
