近期，國(guó)產(chǎn)大模型 DeepSeek-R1橫空出世，迅速成為AI領(lǐng)域的焦點(diǎn)。芯動(dòng)力在24小時(shí)內(nèi)完成了與DeepSeek-R1大模型的適配。
DeepSeek-R1是幻方量化旗下大模型公司DeepSeek研發(fā)的系列推理模型，自誕生起就備受矚目。它采用強(qiáng)化學(xué)習(xí)訓(xùn)練，推理時(shí)包含大量反思和驗(yàn)證，思維鏈長(zhǎng)度可達(dá)數(shù)萬字。在數(shù)學(xué)、代碼以及復(fù)雜邏輯推理任務(wù)上，DeepSeek-R1有著出色的表現(xiàn)，能取得媲美OpenAI o1的推理效果，還能為用戶展現(xiàn)完整的思考過程 。在1月24日的Arena上，DeepSeek-R1 基準(zhǔn)測(cè)試已經(jīng)升至全類別大模型第三，其中在風(fēng)格控制類模型（StyleCtrl）分類中與OpenAI o1并列第一。
隨著技術(shù)的發(fā)展，大模型訓(xùn)練成本呈下降趨勢(shì)，商業(yè)化門檻也隨之降低。大模型作為技術(shù)底座，為各行業(yè)應(yīng)用開拓了無限可能，這也讓邊緣大模型逐漸成為主流方向。而芯動(dòng)力所設(shè)計(jì)的芯片恰好契合這一開發(fā)應(yīng)用需求。
芯動(dòng)力此次能夠在如此短的時(shí)間內(nèi)完成與DeepSeek-R1模型適配，AzureBlade K340L M.2加速卡是關(guān)鍵。這是一款高性能AI加速卡，實(shí)現(xiàn)了高性能、低功耗、小體積的完美結(jié)合。這款加速卡內(nèi)嵌AE7100芯片，尺寸僅為22mm×80mm，大約半張名片大小，卻實(shí)現(xiàn)了高達(dá)32TOPs的算力，并且功耗能達(dá)到8w以下。其采用標(biāo)準(zhǔn)M.2接口，便于集成到各種設(shè)備中，成為業(yè)界最小、最薄的GPU之一。該加速卡兼容CUDA和ONNX，滿足各類AI應(yīng)用需求，其高算力和內(nèi)存帶寬確保數(shù)據(jù)高效穩(wěn)定處理與傳輸。目前，這款加速卡已經(jīng)可以支撐大模型在AI PC等設(shè)備上運(yùn)行，并適配了DeepSeek-R1、Llama 3-8B、Stable Diffusion、通義千問等開源模型。除此之外，該加速卡在工業(yè)自動(dòng)化、泛安防、內(nèi)容過濾、醫(yī)療影像及信號(hào)處理等領(lǐng)域也得到了廣泛的應(yīng)用。
AzureBlade K340L加速卡性能卓越、適用性廣，有望在大模型端側(cè)設(shè)備部署中發(fā)揮關(guān)鍵作用，助力 AI 技術(shù)在更多場(chǎng)景落地，推動(dòng) AI 技術(shù)發(fā)展與應(yīng)用，開啟 AI 應(yīng)用新篇章。未來，芯動(dòng)力團(tuán)隊(duì)還將在 AI 及其他行業(yè)持續(xù)創(chuàng)新突破，為生活和社會(huì)帶來更多變革。
