대규모 LLM 추론GPU당 96GB의 전용 메모리를 활용해많은 GPU 메모리를 요구하는 언어 모델 추론,RAG와 AI 에이전트 개발 환경을 구성할 수 있습니다.실행 가능 범위는 모델 크기와 정밀도,양자화 및 프레임워크에 따라 달라집니다.
파인튜닝과 분산 학습멀티 GPU를 지원하는 학습 프레임워크에서데이터 병렬, 모델 병렬 및 분산 처리 방식을 활용한파인튜닝과 딥러닝 실험에 사용할 수 있습니다.구체적인 분할 방식은 상담이 필요합니다.
다중 전문 작업과 가상 환경64코어 128스레드 CPU와ECC Registered 256GB 시스템 메모리를 활용해데이터 전처리, 컴파일, 여러 개발 도구와가상 환경을 함께 실행하는 워크플로를 고려했습니다.