개발자를 위한 오픈소스 AI

인공지능(AI)과 머신 러닝 운영(MLOps)이 애플리케이션과 개발 프로세스를 혁신하고 있습니다. 

AI 모델 기반의 혁신적 솔루션들은 콘텐츠 생성, 의사 결정 프로세스 개선, 사용자 환경 맞춤 설정의 새로운 가능성을 제공합니다. 현대적인 MLOps 워크플로우는 AI 모델의 통합, 배포 및 관리를 간소화하여 프로덕션 환경에 적용하고 AI 모델의 신뢰성과 성능을 보장합니다. AI와 MLOps가 결합될 때 개발자는 역동적인 애플리케이션, 효율적인 워크플로우, 단축된 개발 주기를 통해 더욱 민첩해지고 변화하는 비즈니스 요구 사항에 신속하게 대응할 수 있습니다.

오픈소스 AI 툴은 유연성과 커스터마이징 측면에서 개발 팀에 상당한 이점을 제공합니다. 개발자는 맞춤형 솔루션을 통해 비즈니스 요구 사항을 충족할 수 있도록 지능형 애플리케이션을 수정하고 조정할 수 있습니다. 오픈소스 프로젝트는 사용자와 기여자들로 구성된 광범위한 커뮤니티 내부의 협업을 장려함으로써 주요 AI 기술의 지속적 개선과 신기능 개발을 지원합니다. 오픈소스 프로젝트의 적응성 덕분에 조직은 AI 툴을 커스터마이징하여 내부 요구 사항을 충족할 수 있으므로 특화된 기능이 필요한 프로젝트를 진행하는 데 있어 가장 적절한 선택지가 될 수 있습니다.

의미 있는 성과를 달성하기 위해서는 AI 기반 애플리케이션 개발에 대한 체계화된 접근 방식이 필요합니다. 애플리케이션이 의도된 목표를 달성함과 동시에 책임감 있고 효율적으로 운영될 수 있도록 각 프로세스 단계를 주의 깊게 고려해야 합니다. 명확한 목표 수립에서부터 모델 선택과 윤리적 실천의 보장에 이르기까지 모든 단계가 강력하고 신뢰할 수 있는 AI 기반 솔루션을 만드는 데 도움이 됩니다.

1. AI 목표 파악. 가장 먼저, AI 기반 애플리케이션을 통해 해결하고자 하는 문제를 명확하게 설명합니다. 그리고 애플리케이션이 수행해야 하는 구체적인 태스크를 결정합니다. 여기에는 생성, 분류, 대화, 요약 또는 코드 관련 기능이 포함될 수 있습니다.
2. 가용 데이터 평가. 데이터의 품질과 범위는 모델의성공을 결정할 수 있으므로 데이터를 철저히 평가합니다. 생성형 AI 모델에는 주로 대규모 학습 데이터세트가 필요한 반면, 예측 AI 모델은 지정된 소규모 데이터세트로도 효과적일 수 있습니다. 데이터가 관련성이 높고, 다양하며, 애플리케이션이 직면할 시나리오들에 대한 대표성을 갖추고 있는지 확인하세요. 그리고 데이터의 모든 공백 또는 편향을 해결하여 결과가 왜곡되거나 부정확해지는 것을 방지해야 합니다.
3. AI 태스크 분석. 애플리케이션의 요구 사항에 따라 AI 접근 방식을 선택합니다. 생성형 AI 모델은 미묘한 뉘앙스의 언어 파악, 창의적 결과물, 데이터 증강, 실시간 상호 작용 등에 탁월하므로 콘텐츠 생성, 대화형 AI, 텍스트 요약에 적합합니다. 이미지 세분화와 사기 감지와 같이 결과값이 명확하게 정의된 체계화된 태스크의 경우 합성곱 신경망(CNN)과 의사 결정 트리와 같은 예측 AI 모델이 추론 시간이 더 짧기 때문에 실시간 애플리케이션에 적합합니다. 경우에 따라 두 가지 접근 방식을 결합하는 것이 효과적일 수 있습니다. 예를 들어 고객 지원 챗봇은 의도 분류에는 예측 AI 모델을, 자연어 처리에는 생성형 AI 모델을 사용할 수 있습니다.
4. 적합한 모델 선택. 제3사 애플리케이션 프로그래밍 인터페이스(API)나 관리형 서비스에서 제공되는 즉시 사용 가능한 AI 모델을 활용하면 고급 AI 기능을 애플리케이션에 효율적으로 추가할 수 있습니다. 이러한 AI 모델을 사용하면 고도의 AI 또는 머신 러닝 지식이 없어도 자연어 처리, 이미지 인식, 예측 분석과 같은 복잡한 기능을 통합할 수 있습니다. 제3사 API나 관리형 서비스는 모델 학습과 유지 관리 프로세스를 간소화하므로 사용자 참여와 애플리케이션 성능을 높이는 AI 기능을 제공하는 데 도움이 됩니다.
5. 윤리적 컴플라이언스 보장. AI 기반 애플리케이션은 종종 민감한 데이터를 다루고 의사 결정에 큰 영향을 미칠 수 있습니다. 따라서 애플리케이션의 동작과 예측이 초래할 수 있는 윤리적 영향을 고려해야 합니다. 의도하지 않은 결과를 방지하고 사용자의 신뢰를 쌓기 위해 투명성, 공정성, 책임감을 우선시하세요.

AI에는 서로 다른 용도에 쓰이는 광범위한 기술들이 총망라되어 있습니다. 그중 예측 AI와 생성형 AI가 지능형 애플리케이션 생성을 위한 핵심 기술들로, 서로 다른 기능을 갖추고 있습니다. 예측 AI는 기존 데이터를 분석하여 미래 결과나 동향을 예측하는 데 주력합니다. 이 기술은 과거 데이터를 사용하여 사건, 행동 또는 상태를 예측해 사용자가 발생 가능한 시나리오를 바탕으로 정보에 입각한 의사 결정을 내리도록 돕습니다. 이와는 대조적으로 생성형 AI는 기존 정보에서 학습된 패턴을 기반으로 새로운 콘텐츠나 데이터를 만듭니다. 이 기술은 학습 데이터와 비슷한 텍스트, 이미지 또는 기타 미디어를 생성할 수 있어, 콘텐츠 생성 및 맞춤 설정을 위한 혁신적인 솔루션을 제공합니다. 예측 AI가 미래 가능성에 대한 인사이트를 제공한다면, 생성형 AI는 학습된 패턴을 바탕으로 새로운 결과물을 생성합니다.

예측 AI

AI 기반 애플리케이션의 빌드는 주로 태스크에 적합한 모델을 선택하는 것으로 시작합니다. 예측 AI를 빌드할 경우에는 조직의 요구 사항에 맞는 사전 학습된 모델 또는 아키텍처를 선택합니다. 대표적인 모델로는 이미지 분류를 위한 ResNet, 오브젝트 감지를 위한 YOLO(You Only Look Once), 이상 감지를 위한 Isolation Forest 등이 있습니다. 모델을 선택할 때는 모델 크기와 복잡성을 추론 속도(학습된 모델이 새 입력 데이터를 기반으로 예측하는 속도)와 관련하여 고려하는 것이 필요합니다. 기업에 이미 AI 사례가 확립되어 있는 경우라면 기업 데이터를 사용하여 예측 AI를 자체적으로 구축할 수도 있습니다. OpenCV, scikit-learn, TensorFlow, PyTorch와 같은 오픈소스 라이브러리 및 딥러닝 프레임워크를 사용하면 내부 및 외부 모델을 AI 기반 애플리케이션과 효율적으로 통합할 수 있습니다.

그다음으로 데이터 준비와 모델 평가가 중요합니다. 데이터를 철저히 분석하여 데이터의 특성을 제대로 파악하고 잠재적 문제를 해결할 수 있습니다. 다른 모델 아키텍처나 사전 학습된 가중치를 실험하면 성능과 추론 속도 사이의 최적의 균형을 찾는 데 도움이 됩니다. 별도의 테스트 데이터세트를 통해 엄격한 검증을 실시하면 모델의 일반화 성능을 보장할 수 있습니다.

모델 선택과 검증이 완료되면 개발 프로세스의 다음 단계는 개선과 배포입니다. 크기 조정이나 일반화와 같은 기술을 사용해 데이터를 재처리해야 할 수도 있습니다. 사전 학습된 모델을 사용할 때는 특정 데이터세트에 맞춘 미세 조정(fine-tuning)이 매우 중요합니다. 경우에 따라 포스트 프로세싱 기술로 모델 출력 결과물을 개선할 수 있습니다. 프로덕션 단계에서 추론 응답 시간, 리소스 사용 등 모델 성능을 모니터링함으로써 모델을 효율적으로 재학습시키고 최적화해 모델의 효과를 유지할 수 있습니다. 데이터 드리프트 감지를 위해 모델을 모니터링하면 추론 중 발견된 데이터가 모델을 학습시키거나 튜닝할 때 사용된 데이터와 크게 달라지지 않도록 보장할 수 있습니다. 

예측 AI 모델은 일반적으로 생성형 AI 모델보다 추론 속도가 더 빠르기 때문에 실시간 애플리케이션에 적합한 경우가 많습니다. 예측 AI를 생성형 AI와 결합하면 더욱 완전한 솔루션을 만들 수 있습니다. 그러나 이러한 솔루션은 모델 실행 시간과 복잡성을 늘릴 수 있습니다.

생성형 AI  

생성형 AI를 기반으로 애플리케이션을 개발하는 첫 번째 단계는 적합한 대규모 언어 모델(LLM)을 선택하는 것입니다. 오픈소스 옵션으로는 BERT(Bidirectional Encoder Representations from Transformers), T5(Text-to-Text Transfer Transformer), Granite 모델 등 여러 가지가 있으며, 각 모델은 서로 다른 태스크에 최적화된 고유한 강점을 가지고 있습니다. 따라서 조직의 애플리케이션 목적에 부합하는 LLM을 선택하는 것이 중요합니다. 예를 들어 Granite-7B-Starter는 위험 요인, 보장 범위, 배상 책임을 강조하는 보험 관련 문서를 요약할 수 있도록 미세 조정이 가능하고, BERT의 경우 감성 분석에 탁월합니다. 

LLM들은 조직의 애플리케이션과 관련된 태스크에서 정확도, 유창성, 전반적 효과가 서로 다르기 때문에 모델 성능을 평가하는 것이 매우 중요합니다. 또한 GPT-3나 일부 Granite 제품 종류 같은 고성능 모델에는 고가의 그래픽 처리 장치(GPU) 리소스를 비롯한 컴퓨팅 리소스가 상당히 많이 요구될 수 있으므로 이러한 요구 사항을 사용 가능한 인프라 및 예산에 맞춰 조정해야 합니다. 또한 미세 조정(fine-tuning)을 위한 충분한 양의 고품질 데이터를 확보함으로써 애플리케이션 요구 사항을 충족하는 최적의 LLM 성능을 보장할 수 있습니다.

Langchain 같은 프레임워크는 LLM과 애플리케이션의 통합을 간소화합니다. 따라서 개발자는 핵심 애플리케이션 로직에 집중할 수 있습니다. 이러한 프레임워크는 프롬프트 엔지니어링과 모델 체이닝(model chaining)을 위한 툴을 제공하는 동시에 메모리나 컨텍스트로 LLM 기반 구성 요소를 강화합니다. 

최적의 LLM과 프레임워크를 선택한 다음에는 생성형 기능을 애플리케이션에 추가할 차례입니다. 이 프로세스에는 모델의 성능을 개선하는 작업과 원하는 결과를 AI가 제공하도록 안내하는 정확하고 효과적인 프롬프트를 만드는 작업이 포함됩니다. 지속적인 개선을 위해서는 강력한 피드백 루프를 구축하는 것이 필수적입니다. 이를 통해 모델이 적응하고 시간이 흐를수록 출력 결과의 품질을 높일 수 있습니다. 

프롬프트는 LLM에 원하는 결과를 생성하도록 지시하는 데 도움이 됩니다. 명확하고 간결한 프롬프트를 작성하고, 구조화된 지시를 위해 템플릿을 활용하며, LLM이 복잡한 태스크를 수행하도록 돕는 체이닝(chaining) 같은 기술을 적용함으로써 모델의 효과를 획기적으로 높일 수 있습니다. 이러한 전략을 사용할 때 AI 모델은 다단계 상호 작용에서도 일관되고 관련성 높은 응답을 생성할 수 있습니다. 

인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback) 루프는 LLM을 미세 조정하는 데 매우 중요합니다. 모델을 배포한 후에는 사용자 상호 작용을 수집하고 이 피드백을 사용해 LLM 성능을 개선하세요. 이 반복적인 프로세스를 통해 모델은 실수로부터 학습하고 지속적으로 개선되어 실제 활용 사례에 적응함에 따라 정확하고 관련성 높은 결과를 제공하는 능력을 키울 수 있습니다.

미세 조정은 사전 학습된 LLM을 특정 도메인이나 태스크에 맞춰 더욱 정교하게 커스터마이징합니다. 태스크별 소규모 데이터세트로 모델을 학습시킴으로써 성능을 강화하고, 애플리케이션 요구 사항에 부합하도록 결과물을 커스터마이징할 수 있습니다. Hugging Face Transformers와 같은 툴을 활용하면 사전 학습된 모델의 지식을 활용하는 동시에 조직의 목적에 맞게 모델을 개선할 수 있습니다. InstructLab의 모델 조정 방식은 모델의 결과물을 조직의 가치나 사용자 요구 사항에 맞게 조정하는 데 도움이 되므로 응답이 정확하고 문맥상 적절하게 됩니다.

검색 증강 생성(RAG)은 LLM과 정보 검색 시스템을 결합하여 모델이 생성 과정에서 외부 소스의 관련 데이터를 이용하고 통합하도록 합니다. 이러한 접근 방식은 결과물의 사실적 정확성과 일관성을 향상시키며, 주로 기업 내부의 데이터를 활용해 LLM 결과를 강화할 때 사용됩니다. Langchain에 내장된 RAG 기능은 이 프로세스를 간소화합니다. 특히 Granite 모델을 사용해 정확하고 문맥상 관련 있는 응답을 생성할 때 더욱 그러합니다.

에이전트는 특정 목적을 달성하기 위해 정의된 환경 내에서 작동하는 자율 시스템입니다. 이 시스템은 상호 작용적이고 적응성이 뛰어난 동작을 통합함으로써 운영 컨텍스트를 동적으로 수정하여 변화하는 조건에 대응할 수 있습니다. 따라서 복잡한 태스크를 처리하고 실시간으로 의사 결정을 내릴 수 있습니다. 이러한 에이전트를 개발하기 위해서는 AI 모델의 출력값을 바탕으로 작업을 계획, 실행, 평가하는 다중 컴포넌트 시스템을 구축해야 합니다. 실시간 의사 결정과 외부 API 및 데이터 소스 통합을 비롯한 복잡한 태스크를 조율함으로써 시스템의 운영 역량을 강화할 수 있습니다.

모델 체이닝은 여러 AI 모델 또는 프로세스를 통합된 워크플로우에 연결하는 방식으로, 각 모델이 이전 모델의 출력값을 바탕으로 작업을 수행합니다. 이 접근 방식을 사용하면 다단계 상호 작용이 포함된 복잡한 태스크를 처리할 수 있는 애플리케이션을 개발할 수 있습니다. 여러 모델의 기능을 조정된 순서로 사용함으로써 개발자의 요구 사항에 맞춘 효율적인 시스템을 구축할 수 있습니다.

통합된 AI를 사용해 애플리케이션의 워크플로우를 철저히 평가함으로써 사용자 친화적이고 효율적인 경험을 보장할 수 있습니다. 전체 시스템에 대한 엄격한 테스트는 문제나 비효율성을 파악하고 해결하여 기능과 사용성 향상을 위해 애플리케이션을 개선하는 데 도움이 됩니다. 이러한 반복적 프로세스는 성능을 개선할 뿐만 아니라 사용자 요구 사항과 기대치에 더 가깝게 애플리케이션을 조정합니다.

예 1: 고객 지원 챗봇

• 문제점: 서비스 조직은 고객 질문과 문제점을 1년 365일 24시간 신속하고 효율적으로 해결해야 합니다.
• 데이터: 채팅 로그, 제품 도큐멘테이션, 지식 기반 문서
• 모델: 대화와 의도 분류에 맞게 조정되고 RAG을 통해 지식 검색 기능이 강화된 Granite-7B-Starter
• 윤리적 고려 사항: 데이터 프라이버시 보장, 편향 완화, 사용자에게 투명성 제공
• 배포 및 반복: 챗봇 배포, 상호 작용 모니터링, 피드백 수집, 모델 재학습, 정기적인 지식 기반 업데이트

예 2: 보험 심사 리스크 평가

• 문제점: 조직은 복잡한 보험 서류를 자동으로 요약하여 심사 과정을 간소화해야 합니다.
• 데이터: 증권, 청구 내역, 의료 기록을 포함한 보험 서류 일체
• 모델: 위험 요인, 보장 범위, 책임에 초점을 맞춘 보험 관련 문구를 요약하도록 미세 조정된 Granite-7B-Starter
• 윤리적 고려 사항: 정확성 최우선화, 법률 준수 보장, 엄격한 데이터 프라이버시 유지
• 배포 및 반복: 모델을 심사 워크플로우에 통합, 피드백 수집, 리스크 평가 개선을 위한 모델 개선

혁신적인 AI 기반 애플리케이션을 개발하려면 프롬프트 엔지니어링, 미세 조정, RAG, 에이전트 등에 대한 이해가 필수입니다. 각각의 방식은 복잡한 문제를 해결하고 AI 기반 애플리케이션의 인터랙티브 기능을 개선하는 데 있어 서로 다른 툴과 전략을 제공합니다. 이러한 기술들을 성공적으로 적용하면 중요한 비즈니스 목표에 부합하는 더욱 지능적이고 반응성이 뛰어나며 효과적인 AI 기반 시스템을 구축할 수 있습니다.

Red Hat® OpenShift® AI는 Red Hat OpenShift를 기반으로 구축되며, 모델과 애플리케이션을 빌드, 학습, 미세 조정, 배포, 모니터링하는 통합 플랫폼을 제공할 뿐만 아니라 현대적인 AI 솔루션의 워크로드 및 성능 요구 사항을 충족합니다. 이 플랫폼에는 다음과 같이 AI 개발 생산성을 강화하는 툴과 환경이 포함되어 있습니다.

• Jupyter Notebooks와 PyTorch는 프로토타입에서 프로덕션 단계로의 이전을 간소화해 실험과 협업 개발을 용이하게 합니다.
• Red Hat OpenShift Pipelines는 지속적 통합/지속적 배포(CI/CD) 워크플로우를 자동화하여 원활하고 효율적인 모델 제공을 보장합니다.
• 개선된 모니터링 및 관측성 툴은 모델 성능 및 상태를 실시간으로 트래킹하고 데이터 드리프트와 편향을 모니터링하여 선제적 조정과 유지 관리를 지원합니다.

또한 Red Hat OpenShift AI는 하이브리드 클라우드 환경 전반에서 AI 기반 애플리케이션의 개발과 배포를 간소화합니다. KServe, vLLM, TGIS(Text Generation Inference Server)와 같은 모델 서버 및 런타임에 대한 지원이 포함된 강화된 모델 서빙 기능들은 AI 모델을 간편하고 유연하게 배포하는 데 도움이 됩니다. Red Hat OpenShift AI는 모델 서빙 기능을 엣지 위치까지 확장하므로 개발자는 리소스가 제한된 환경에서 AI 기반 솔루션을 제공할 수 있습니다. 하드웨어 가속기에 대한 셀프 서비스 액세스는 애플리케이션을 신속하게 반복하고 최적화하는 데 도움이 됩니다.

Red Hat Enterprise Linux® AI는 엔터프라이즈 애플리케이션 구동을 위해 Granite LLM 제품군을 원활하게 개발, 테스트, 실행할 수 있는 파운데이션 모델 플랫폼입니다. 이 플랫폼은 하이브리드 클라우드 환경 전반에서 이식성을 보장하며, Red Hat OpenShift AI를 통해 AI 워크플로우를 확장할 수 있게 해줍니다.

마지막으로, Podman Desktop AI Lab 확장 기능은 로컬 환경에서 AI 기반 애플리케이션을 개발하고 테스트할 수 있는 간소화된 설정 환경을 제공하므로 개발자가 프로덕션 환경을 정확하고 효율적으로 시뮬레이션할 수 있습니다.

지금 바로 Red Hat OpenShift AI로 AI 기반 애플리케이션을 빌드해 보세요.

Red Hat OpenShift AI는 복잡한 워크플로우를 간소화하고 개발 주기를 단축하며 배포 옵션을 확장합니다. 개발자는 AI 모델을 빌드하고 배포하는 데 소요되는 시간과 노력을 줄이고, 강력한 솔루션을 신속하게 혁신하고 개발하는 데 집중할 수 있습니다.