오픈소스가 AI의 미래에 중요한 이유

인공지능(AI)의 개념은 새로운 것이 아니지만, 최근 관련 기술의 발전으로 인해 과거에는 가설적인 수준에 머물렀던 것이 이제는 우리 모두가 매일 사용하는 도구가 되었습니다. AI의 중요성과 확산은 흥미로우면서도 잠재적으로 우려스러운 측면이 있습니다. 이는 많은 AI 툴의 기반이 본질적으로 소수의 강력한 기업이 소유하고 제어하는 블랙박스이기 때문입니다.

Red Hat은 모든 사람이 AI에 기여할 수 있는 역량을 갖춰야 한다고 생각합니다. AI 혁신은 막대한 연산 능력과 점점 더 거대해지는 대규모 언어 모델(LLM)을 학습시키기 위한 전문 데이터 과학자를 고용할 여력이 있는 기업들만의 전유물이 되어서는 안 됩니다.

E-book 다운로드: 엔터프라이즈용 AI 시작하기: 초보자 가이드

대신 Red Hat은 수십 년간의 오픈소스 경험을 모든 사람이 AI에 기여하고 AI의 이점을 누리는 동시에 AI의 미래와 진화를 설계하도록 돕는 AI 툴 및 프레임워크 개발에 적용합니다. Red Hat은 오픈소스 접근 방식이 AI의 잠재력을 최대한 활용하여 더 안전하고, 접근성이 뛰어나며, 대중화된 AI를 실현할 수 있는 유일한 방법이라고 믿습니다.

오픈소스란?

‘오픈소스’라는 용어는 원래 소프트웨어 개발 방법론을 지칭했지만, 그 이후에는 개방형, 분산형, 긴밀한 협업을 지원하는 보다 일반적인 작업 방식을 포괄하도록 확장되었습니다. 오픈소스 문화는 이제 소프트웨어 분야를 훨씬 넘어섰으며, 과학, 교육, 정부, 산업, 의료 등 전 세계의 다양한 협업 분야에서 오픈소스 방식을 채택하고 있습니다.

오픈소스 문화에는 그것을 효과적이고 영향력 있게 만드는 몇 가지 기본 원칙과 가치가 있으며, 이는 다음과 같습니다.

• 협업 참여
• 책임 공유
• 개방형 교류
• 능력주의와 포용성
• 커뮤니티 중심 개발
• 오픈 협업
• 자체 구성
• 존중과 상호주의

오픈소스 원칙이 협업의 기반을 형성할 때 역사는 놀라운 일이 가능하다는 것을 보여주었습니다. 몇 가지 핵심적인 예는 세계에서 가장 강력하고 유비쿼터스 운영 체제인 Linux의 개발과 확산, 쿠버네티스(Kubernetes)와 컨테이너의 등장 및 성장, 그리고 인터넷 자체의 개발 및 확장까지 다양합니다.

오픈소스와 AI

그렇다면 이 새로운 AI 시대에 오픈소스 방식이 의미가 있을까요?

우리는 이 질문에 대한 간단한 답변으로 “예, 그렇습니다” 라고 말씀드립니다. 이를 확장하여 왜 이것이 사실인지 살펴보겠습니다.

AI 시대에 오픈소스의 6가지 장점

6가지 이상의 장점이 있지만 가장 중요한 장점부터 살펴보겠습니다.

1. 혁신 속도 향상

폐쇄적인 조직과 독점 솔루션과 달리, 기술이 협업을 통해 개방적으로 개발되면 혁신과 발견이 훨씬 더 빠르게 이루어질 수 있습니다.

작업이 공개적으로 공유되고 다른 사람들이 이를 기반으로 구축할 수 있는 역량이 있다면, 팀은 새로운 프로젝트를 시작할 때마다 첫 번째 원칙에서 시작하지 않아도 되기 때문에 엄청난 시간과 노력을 절약할 수 있습니다. 새로운 아이디어는 이전 프로젝트를 기반으로 발전할 수 있습니다. 이렇게 하면 시간과 비용이 절약될 뿐만 아니라, 더 많은 사람이 협력하여 문제를 해결하고, 인사이트를 공유하고, 서로의 작업을 검토함으로써 결과를 더욱 견고하게 만듭니다.

협업이 강화된 대규모 커뮤니티는 더 많은 성과를 달성할 수 있습니다. 복잡한 문제를 해결하기 위해 더 많은 사람들이 협력할 때, 사일로화된 소규모 그룹이 단독으로 작업하는 것보다 더 빠르고 효과적으로 혁신할 수 있습니다.

학습 경로: RHEL AI, 쉬운 방법으로 LLM 체험하기

2. 액세스의 대중화

오픈소스는 이처럼 새롭게 부상하는 AI 기술에 대한 액세스를 대중화합니다. 연구, 코드, 툴을 공개적으로 공유하면 일반적으로 최첨단 혁신 기술에 대한 액세스를 제한하는 일부 장애 요소를 제거하는 데 도움이 됩니다.

InstructLab 프로젝트는 이에 대한 완전한 예입니다. InstructLab은 모델에 구애받지 않는 오픈소스 AI 프로젝트로, LLM에 기술과 지식을 제공하는 프로세스를 간소화합니다. 이 프로젝트의 목표는 일반적으로 필요한 데이터 사이언스 기술과 교육을 받지 않은 사람을 포함하여 누구나 생성형 AI(Gen AI)를 형성하는 데 도움을 줄 수 있도록 하는 것입니다. 이를 통해 더 많은 개인과 조직이 신뢰할 수 있는 방식으로 LLM을 교육하고 개선하는 데 기여할 수 있으며, 이는 다음으로 이어집니다.

3. 안전, 보안 및 개인 정보 보호 개선

오픈소스 프로젝트는 진입 장벽을 낮추기 때문에 더 규모가 크고 다양한 기여자 그룹이 AI 모델 개발 과정에서 잠재적인 안전 및 편향 문제를 식별하고 해결할 수 있도록 지원할 수 있습니다.

폐쇄형 AI 모델을 훈련하고 미세 조정하는 데 사용되는 데이터와 방법은 독점적이며 철저히 보호됩니다. 외부인이 이러한 모델의 작동 방식과 잠재적으로 위험한 데이터나 내재된 편향이 있는지 여부에 대한 인사이트를 얻을 수 있는 경우는 거의 없습니다.

그러나 모델과 모델을 훈련하는 데 사용되는 데이터가 공개되어 있다면 누구든지 참여하여 검토할 수 있으므로 잠재적인 위험을 줄이고 편향을 최소화할 수 있습니다. 또한 오픈소스 기여자는 향후 모델 및 애플리케이션 개발을 추적하고 감사하는 툴과 프로세스를 생성하여 시간이 지남에 따라 안전성을 개선하고 유지 관리할 수 있습니다.

또한 이러한 개방성과 투명성은 사용자가 자신의 데이터가 사용 및 처리되는 방식을 직접 확인할 수 있도록 하여, 개인 정보 보호 및 데이터 주권(data sovereignty)이 존중되고 있는지 검증하고 신뢰를 구축합니다.

마지막으로, 기업은 InstructLab과 같은 오픈소스 프로젝트를 사용하여 엄격한 제어를 유지 관리하는 자체 미세 조정(fine-tuned) 모델을 생성함으로써 프라이빗 데이터, 민감한 데이터 또는 독점 데이터를 보호할 수 있습니다.

4. 유연성과 선택의 자유 제공

모놀리식(monolithic) 독점 블랙박스 LLM은 대부분의 사람들이 Gen AI와 관련하여 생각하는 것이지만, 더 작고 독립적인 특정 목적을 위해 구축된 AI 모델을 향한 움직임이 점점 커지고 있습니다.

이러한 소형 언어 모델(SLM)은 일반적으로 기본 기능을 제공하기 위해 훨씬 더 작은 데이터 세트에 대해 교육을 받은 다음, 도메인별 데이터와 지식을 사용하여 특정 활용 사례에 맞게 추가로 맞춤화됩니다.

이러한 SLM은 규모가 큰 SLM보다 훨씬 더 효율적이며, 의도한 목적에 맞게 사용할 때 성능이 뒤지지 않거나 오히려 더 뛰어난 것으로 나타났습니다. 교육 및 배포가 더 빠르고 효율적이며, 필요에 따라 사용자 정의하고 조정할 수 있습니다.

이것이 바로 InstructLab 프로젝트가 지원하도록 설계된 것입니다. 이를 통해 IBM의 오픈소스 Granite 모델과 같은 더 작은 규모의 오픈 AI 모델을, 원하는 추가 데이터와 교육으로 보강할 수 있습니다.

예를 들어, InstructLab을 사용하여 내부 지식과 모범 사례에 대한 교육을 받은 고도로 튜닝된 맞춤형 고객 지원 챗봇을 생성하여 모든 사람에게, 어디서나, 항상 최상의 고객 서비스 경험을 제공할 수 있습니다.

더욱 중요한 점은 이를 통해 벤더 종속성을 방지하고 AI 모델과 이를 기반으로 구축된 애플리케이션을 배포하는 위치와 방법 측면에서 유연성을 확보할 수 있다는 것입니다.

5. 활기찬 에코시스템 지원

Red Hat은 "누구도 혼자 혁신할 수 없다"는 신념을 바탕으로 Red Hat Enterprise Linux(RHEL)를 처음 출시한 이후 이 신념을 지켜왔습니다. 이러한 신념의 상당 부분은 파트너가 Red Hat뿐만 아니라 고객에게도 제공하는 놀라운 가치에 기반을 두고 있습니다.

이는 AI 시대에도 마찬가지입니다. Red Hat은 Red Hat AI 형태로 다양한 오픈소스 툴과 프레임워크를 제공하며, 파트너는 이를 기반으로 고객에게 추가 가치를 창출할 것입니다. 이 모든 것이 가능한 이유는 Red Hat이 전 세계의 업스트림 프로젝트 및 기타 연구원, 기업, 파트너와의 협력과 협업을 통해 개방형 오픈 환경에서 운영하기 때문입니다.

어떤 단일 벤더도 조직이 필요로 하는 모든 것을 제공하거나 오늘날의 기술 진화 속도를 따라갈 수는 없습니다. 오픈소스 원칙과 사례는 프로젝트와 산업 전반에서 파트너십과 협업 기회를 촉진함으로써 혁신을 가속화하고 활기찬 에코시스템을 지원합니다.

6. 비용 절감

2025년 초에는 미국 데이터 과학자의 평균 기본 급여가 125,000달러를 넘을 것으로 추정되며, 선임 데이터 과학자는 이보다 훨씬 더 많은 급여를 받을 수 있을 것으로 예상됩니다.

AI의 영향력과 인기가 폭발적으로 증가하면서 데이터 사이언티스트에 대한 수요가 엄청나게 늘어나고 있지만, 필요한 전문 인재를 유치하고 유지할 수 있는 기업은 거의 없습니다.

또한 대규모 LLM은 구축, 교육, 유지 관리, 배포에 막대한 비용이 들기 때문에 고도로 최적화된 (그리고 매우 고가의) 컴퓨터 장비로 가득 찬 웨어하우스 전체와 막대한 양의 스토리지가 필요합니다.

개방형의 소규모 목적별 모델과 AI 애플리케이션은 훨씬 더 효율적으로 구축, 교육, 배포할 수 있습니다. LLM에 비해 적은 컴퓨팅 성능이 필요할 뿐만 아니라 InstructLab과 같은 프로젝트를 통해 전문 기술과 경험이 없는 사람도 AI 모델을 훈련하고 미세 조정하는 데 적극적이고 효과적으로 기여할 수 있습니다.

분명히, 오픈소스가 AI 개발에 가져오는 비용 절감과 유연성은 AI 애플리케이션이 가져올 수 있는 경쟁 우위를 수용하고자 하는 중소기업에 유용합니다.

요약

Red Hat은 클라우드 컴퓨팅, 인터넷, Linux 및 수많은 강력하고 혁신적인 오픈 기술을 탄생시킨 커뮤니티와 함께 개방형 원칙을 사용하여 AI를 구축하는 것이 필수적이라고 생각합니다.

이것이 바로 Red Hat의 AI 제품 전략이 추구하는 방향입니다. Red Hat은 제품과 프로젝트에서 항상 오픈소스의 힘을 수용해 왔으며, AI에 대해서도 마찬가지입니다.

모든 사람이 AI의 혜택을 누릴 수 있어야 하며, 모든 사람이 AI의 궤적을 결정하고 구체화하는 데 도움을 줄 수 있어야 하며, AI 개발에 기여할 수 있어야 합니다. 오픈소스와 협업을 통한 혁신은 AI의 미래를 위해 필수적입니다. 누구나 쉽게 이용할 수 있고 혜택을 누릴 수 있기 때문입니다.