大模型場景  

01

      單臺支持70B-180B開源大模型FP16精度的私有數(shù)據(jù)微調，常規(guī)70B以上模型微調需要2-3臺8卡滿配80G顯存的GPU才能完成，長城通過顯存擴容方案，解決模型“放不下”問題，微調成本降低60%。

      本地私有微調后，即可在原配置上推理，真正做到訓推一體，在金融、新聞、政務、醫(yī)療、工業(yè)等專業(yè)性要求高的垂直領域，模型性能要求高（70B以上規(guī)模模型效果好），且對專業(yè)知識理解能力強（私有數(shù)據(jù)微調），長城訓推一體給出了完美解決方案。 

      支持主流框架（Pytorch、Tensorflow、PaddlePaddle、ONNX Runtime、DeepSpeed、Colossal-AI），支持主流開源模型（LLama2、LLama-3、Qwen、Mistral等50+開源大模型），集成國產(chǎn)GPU最優(yōu)實踐訓推鏡像，開箱即用。

      提供大模型全功能訓練工具、評估測試、大模型Prompt開發(fā)、大模型PEFT(參數(shù)高效微調)、大模型推理服務、大模型應用開發(fā)等功能。

      覆蓋對話問答、內容生成、智能助理、知識庫、數(shù)字人等多種應用場景，簡單配置后即可使用。

      集成適配主流開源AI應用，包括Agent工作流和RAG（LangChain、Dify）、模型管理（Ollama）、生圖（ConfyUI）、音頻（GPT-SoVITS），具有開箱即用的能力，加速業(yè)務智能化落地。

1.應用廣泛

      數(shù)字英文識別率≥99.9%，中文字識別率≥99.5%，字體、字號適應性強。支持合同等文檔、手寫掃描、證照、各類型票據(jù)的識別。

      兼容更低的分辨率 50dpi，支持模糊失真的圖像文字。支持圖像傾斜、梯形等變形，支持任意形狀和任意方向的文本行識別。支持傳真、手機拍照片、截屏、自然場景、抗蓋章干擾、底紋干擾。

1.成熟生態(tài)

      支持20以上傳統(tǒng)視頻檢測及行為分析算法。支持多模態(tài)CV大模型，基于大模型語義理解能力，解決傳統(tǒng)算法難應對場景碎片化的問題。

      單卡支持256路1080P@30FPS視頻解碼，整機支持3072路。單卡支持16路1080P@30FPS視頻編碼，整機支持192路。單卡支持7000FPS@1080P JEPG編解碼，整機支持84000FPS@1080P JEPG編解碼。