오프라인에서도 사용할 수 있는 RHEL command-line assistant: 새로운 개발자 프리뷰 출시

기존 Red Hat Satellite 서브스크립션 가입 고객은 이제 RHEL Lightspeed가 지원하는 Red Hat Enterprise Linux(RHEL) command-line assistant의 오프라인 버전을 개발자 프리뷰로 이용할 수 있습니다. 이는 워크스테이션 또는 개별 RHEL 시스템에서 로컬로 실행되는 자체 포함 형식으로 RHEL command-line assistant의 기능을 제공합니다. 이렇게 하면 어시스턴트가 완전히 연결되지 않은 오프라인 또는 에어 갭(air-gap) 환경에서 작동할 수 있습니다. 작동하는 데 외부 네트워크 연결이 필요하지 않기 때문입니다. command-line assistant는 광범위한 RHEL 작업을 지원하는 AI 기반 지침과 제안을 제공합니다. Red Hat은 RHEL 설치 및 업그레이드 주제에 대한 지식을 확장하여 연결이 제한적이거나 연결이 없는 경우에도 이러한 영역에 대한 지원을 받을 수 있도록 지원합니다.  

아키텍처 개요

command-line assistant의 오프라인 버전은 Podman으로 실행할 수 있는 컨테이너 이미지 집합으로 제공됩니다.  사용되는 컨테이너는 다음과 같습니다.

• installer container: 다른 필수 컨테이너를 가져오고 rhel-cla 명령을 설치하며 선택적으로 systemd 서비스 생성
• rlsapi container: command-line assistant 클라이언트가 통신하는 엔드포인트 제공
• rag-database container: RHEL 설명서와 같은 추가 데이터로 LLM의 지식을 보완하는 데 사용되는 RAG(Retrieval-Augmented Generation) 데이터베이스
• ramalama container: LLM 추론 제공 

사전 준비 조건과 요구 사항

Red Hat Satellite 서브스크립션은 RHEL 환경을 로컬에서 관리할 수 있는 툴을 제공합니다. 이러한 툴에는 Satellite 제품 자체와 최근에 도입된 Red Hat Offline Knowledge Portal이 포함됩니다. 이 포털은 Red Hat 독점 지식 콘텐츠의 오프라인 버전을 제공합니다. 이제 Satellite 서브스크립션을 확장하여 RHEL command-line assistant의 오프라인 버전도 제공합니다.

command-line assistant의 오프라인 버전은 컨테이너 집합으로 제공되며 RHEL 시스템, Mac 또는 Windows 워크스테이션에서 실행할 수 있습니다. Mac 시스템을 사용하는 경우 Podman Desktop이 필요하며 NVIDIA, AMD 또는 Mac M 시리즈 GPU가 장착된 시스템을 사용하는 것이 좋습니다.

하드웨어 요구 사항

CPU 전용 시스템(RHEL 9.6+ 및 10+ / Fedora 42 / Windows 11):

• RAM: 8GB
• CPU 코어: 2

GPU 지원 시스템(RHEL 9.6+ 및 10+ / Fedora 42 / Windows 11):

• RAM: 4GB
• GPU: 최소 4GB의 VRAM

Apple 시스템(macOS 15.x):

• M2 칩 이상

모든 시스템:

• 사용 가능한 디스크 공간: 10GB

시작하기

RHEL command-line assistant의 오프라인 버전에 대한 컨테이너 이미지는 Red Hat Container Registry에서 Satellite 서브스크립션을 보유한 모든 고객에게 제공됩니다. Red Hat Container Registry에 인증하여 시작하세요.  

$ podman login registry.redhat.io

설치 프로그램 컨테이너를 사용하여 설치를 수행하세요.  이 컨테이너는 필요한 다른 컨테이너를 가져오고, rhel-cla 명령을 설치하며, 선택적으로 systemd 서비스를 생성합니다.  systemd 서비스를 사용하여 시스템이 부팅될 때마다 오프라인 RHEL 명령줄 도우미 컨테이너를 자동으로 시작할 수 있습니다.

설치 프로그램을 실행하기 전에 ~/.config 및 ~/.local/bin 디렉터리가 홈 디렉터리에 있는지 확인하세요. 설치 프로그램 컨테이너를 시작하려면 다음 명령을 사용하세요.

$ podman run -u : --rm -v $HOME/.config:/config:Z \

-v $HOME/.local/bin:/config/.local/bin:Z \

registry.redhat.io/rhel-cla/installer-rhel10:latest \

install-systemd

systemd 서비스를 설치하지 않으려면 명령 끝에 install-systemd 인수를 포함하지 마세요. 

설치가 완료되면 rhel-cla 명령을 사용하여 오프라인 RHEL 명령줄 도우미를 시작, 중지, 제거 또는 상태를 확인할 수 있습니다.  Mac에서는 rhel-cla 명령을 실행 파일로 만들어야 합니다. 

$ chmod +x ~/.local/bin/rhel-cla

RHEL 명령줄 도우미의 오프라인 버전을 시작하려면 다음을 수행하세요.

$ rhel-cla start

출력이 생성되지만 모든 것이 성공적으로 시작되었음을 나타내는 메시지만 확인하면 됩니다.

✅ RHEL CLA pod is running!

서비스 제공 위치:

• API: http://localhost:8000
• 모델 서버: http://localhost:8888
• 데이터베이스: localhost:5432

GPU 구성

다음 단계는 ~/.config/rhel-cla/.env 파일 내에서 GPU를 구성하는 것입니다.  텍스트 편집기에서 이 파일을 열고 다음 구성을 완료하세요.

• LLAMACPP_IMAGE 변수를 GPU 하드웨어에 적절한 RamaLama 컨테이너로 설정하세요.  파일 내에 자세한 내용을 제공하는 주석이 있습니다.
• HOST_DEVICE 변수를 GPU의 기기로 설정하세요.
• 필요한 경우 NVIDIA 관련 변수를 설정하세요. 파일 내의 주석은 이에 대한 자세한 내용을 제공합니다.  

RHEL 명령줄 도우미의 오프라인 버전은 Microsoft Phi4-mini LLM 모델을 포함합니다. LLM 변수를 업데이트하여 다른 모델을 사용할 수 있습니다. 

구성 설정을 변경한 후 오프라인 RHEL command-line assistant를 다시 시작하세요.

$ rhel-cla stop

$ rhel-cla start

command-line assistant 클라이언트 구성

RHEL 시스템에 command-line-assistant 패키지를 설치하세요.

$ sudo dnf install command-line-assistant

기본적으로 command-line assistant 클라이언트는 온라인 RHEL Lightspeed 서비스를 사용하도록 구성됩니다. /etc/xdg/command-line-assistant/config.toml 파일에서 엔드포인트 구성 옵션을 업데이트하여 오프라인 RHEL command-line assistant 컨테이너를 호스팅하는 시스템을 가리키도록 설정하세요. 현재 환경에서는 동일한 시스템에서 command-line assistant 클라이언트와 오프라인 컨테이너를 실행하고 있으므로 command-line assistant 서비스를 시작한 후 엔드포인트를 제공된 값으로 업데이트했습니다. 

endpoint = "http://127.0.0.1:8000/"

RHEL command-line assistant 컨테이너의 오프라인 버전이 명령줄 도우미 클라이언트와 다른 시스템에 있는 경우 방화벽에서 포트 8000을 열어야 할 수 있습니다.

command-line assistant 클라이언트 구성을 변경한 후 현재 실행 중인 경우 명령줄 도우미 데몬(clad)을 다시 시작해야 합니다. 

$ sudo systemctl restart clad

사용법

이제 모든 것이 구성되었으므로 command-line assistant를 사용하여 RHEL 주제에 대한 도움말을 얻을 수 있습니다. RHEL 설치, 문제 해결 등과 관련된 질문을 할 수 있습니다. 예를 들면 다음과 같습니다.

$ c "what is an immutable file?"

+ RHEL Lightspeed에 요청

이 기능은 AI 기술을 사용합니다. 입력 시 개인 정보 또는 기타 민감한 정보를 포함하지 마세요. 상호 작용을 통해 Red Hat은 제품 또는 서비스를 개선할 수 있습니다.

안녕하세요! 변경 불가능한(immutable) 파일에 대해 관심을 가져 주셔서 감사합니다. 변경 불가능한 파일은 생성된 후에는 수정, 삭제 또는 이름을 변경할 수 없는 파일입니다. 시스템은 데이터 무결성과 보안을 보장하기 위해 이 개념을 자주 사용합니다.

Red Hat Enterprise Linux에서는 chattr 명령을 사용하여 변경 불가능한 파일을 생성할 수 있습니다. 예를 들면 다음과 같습니다.

[bash] Snippet

sudo chattr +i filename

이 명령은 filename이라는 파일을 변경할 수 없게 만듭니다. lsattr 명령을 사용하여 파일을 변경할 수 없는지 확인할 수 있습니다.

[bash] Snippet

lsattr filename

출력에서 파일 이름 옆에 i 속성이 표시되어 변경할 수 없음을 나타냅니다.

변경할 수 없는 파일을 수정, 삭제 또는 이름을 바꾸려고 하면 오류 메시지를 받게 됩니다. chattr 명령과 함께 -i 옵션을 사용하여 불변성 속성을 제거할 수 있습니다.

[bash] Snippet

sudo chattr -i filename

도움이 되었기를 바랍니다. 다른 질문이 있으면 알려주시기 바랍니다.

AI 생성 콘텐츠를 사용하기 전에 항상 검토하세요.

첫 번째 쿼리 응답 지연

채팅 세션이 처음 시작되면 시스템이 모델을 메모리에 로드합니다. 이로 인해 첫 번째 질문에 대해서만 응답이 느릴 수 있습니다.

CPU 전용 시스템

command-line assistant의 응답 시간은 사용 중인 하드웨어에 따라 다릅니다. CPU 추론을 사용하여 GPU가 없는 시스템에서 오프라인 RHEL command-line assistant를 사용할 수 있지만, 이로 인해 응답 시간이 느려집니다.

RHEL 9.6 및 RHEL 10에서 사용할 수 있는 command-line assistant 클라이언트 패키지가 30초 후에 시간 초과됩니다. 이 30초 시간 제한은 현재 구성할 수 없지만, 구성 가능한 시간 제한을 갖도록 command-line assistant 패키지가 RHEL 9.7 및 RHEL 10.1에서 업데이트될 예정입니다.

또한 위에서 설명한 대로 첫 번째 쿼리에서 응답 시간이 느려 30초 시간 제한을 트리거할 수 있습니다.

개별 시스템 활용 사례에 적합

RHEL command-line assistant의 오프라인 버전은 개별 시스템 사용 사례를 위한 것입니다. 예를 들어 RHEL 시스템에 오프라인 버전을 호스팅하고 해당 시스템의 command-line assistant 클라이언트가 이를 사용할 수 있습니다. 또는 개별 RHEL 워크스테이션에 command-line assistant 클라이언트를 구성하여 특정 서버를 가리키도록 설정한 다음, 해당 서버에 오프라인 버전을 호스팅할 수도 있습니다. 이처럼 다양한 방식으로 활용할 수 있습니다. 이것은 여러 RHEL command-line assistant 클라이언트가 오프라인 command-line assistant를 호스팅하는 시스템에 연결하여 확장하도록 설계되지 않았습니다.  

결론

RHEL command-line assistant의 새로운 오프라인 버전이 출시되어 오프라인 또는 연결되지 않은 환경에서 RHEL 사용자의 역량을 크게 강화하는 중요한 진전을 이루었습니다. 이 강력한 독립형 AI 지원 비서는 에어 갭(air-gap) 네트워크, 원격 위치 또는 인터넷 연결이 제한된 환경에서 자주 작업하는 RHEL 사용자에게 귀중한 리소스를 제공합니다.

지금까지 오프라인 설정에서 도큐멘테이션 및 트러블슈팅 정보와 같은 리소스에 액세스하는 것은 주요 과제였으며, 이로 인해 다운타임이 증가하고 사용자의 불편함이 커질 수 있었습니다. RHEL command-line assistant의 오프라인 버전은 네트워크 가용성에 관계없이 RHEL Lightspeed로 구동되는 풍부한 지식과 AI 기반 문제 해결 기능을 손쉽게 사용할 수 있도록 하여 이러한 고충을 해결하는 데 도움이 됩니다.

RHEL command-line assistant의 오프라인 버전에 대한 자세한 내용은 도큐멘테이션을 참조하세요.