近日實(shí)盤杠桿配資公司，在2024 Inclusion·外灘大會(huì)上，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民接受上海證券報(bào)記者專訪表示，人工智能將對(duì)經(jīng)濟(jì)發(fā)展和人民生活水平提高發(fā)揮著越來越大的作用。人工智能發(fā)展離不開三個(gè)要素，分別是數(shù)據(jù)、算法、算力。算力擴(kuò)容，除加強(qiáng)基礎(chǔ)設(shè)施建設(shè)外，還應(yīng)該千方百計(jì)擴(kuò)大存儲(chǔ)。建議人工智能企業(yè)通過不斷優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)應(yīng)對(duì)算力挑戰(zhàn)。
鄭緯民認(rèn)為，大模型需要大算力，也需要大存儲(chǔ)，但相應(yīng)會(huì)導(dǎo)致大成本，“大模型生命周期的每一個(gè)環(huán)節(jié)都與存儲(chǔ)系統(tǒng)有關(guān)。分布式技術(shù)又存在于大模型生命周期的每一環(huán)，建議優(yōu)化內(nèi)部存儲(chǔ)結(jié)構(gòu)，向存儲(chǔ)要算力”。
鄭緯民分析稱，比如在數(shù)據(jù)獲取階段，大模型訓(xùn)練需要收集海量多模態(tài)小文件，任一模態(tài)的數(shù)據(jù)集包含多達(dá)數(shù)億至數(shù)百億小文件，對(duì)文件系統(tǒng)元數(shù)據(jù)管理提出挑戰(zhàn)。在數(shù)據(jù)處理階段，頻繁、隨機(jī)的小樣本讀取等海量數(shù)據(jù)處理也對(duì)底層大數(shù)據(jù)處理框架提出挑戰(zhàn)。模型訓(xùn)練階段，檢查點(diǎn)文件讀寫對(duì)存儲(chǔ)系統(tǒng)讀寫提出挑戰(zhàn)。在模型推理階段，模型參數(shù)和中間結(jié)果KVCache對(duì)內(nèi)存系統(tǒng)容量和傳輸速度提出挑戰(zhàn)，中間結(jié)果KVCache往往要占據(jù)更多存儲(chǔ)空間。
“如何花更少的資金建設(shè)更強(qiáng)大的基礎(chǔ)設(shè)施，滿足更大的市場(chǎng)需求？人工智能企業(yè)不要一味追求硬件擴(kuò)容，應(yīng)在軟件優(yōu)化上尋求解決方案。”鄭緯民說。
他建議，大模型企業(yè)在推理過程中實(shí)盤杠桿配資公司，應(yīng)考慮為歷史中間結(jié)果KVCache專門設(shè)置高容量、高寬帶的存儲(chǔ)系統(tǒng)，保留中間結(jié)果，以便重復(fù)利用，節(jié)省算力。“以大模型輔助讀論文場(chǎng)景為例，當(dāng)不同用戶對(duì)同一篇論文進(jìn)行提問，只要能將共享的可復(fù)用的部分保存下來多次復(fù)用，就可以大幅降低算力開銷。”鄭緯民說。
文章為作者獨(dú)立觀點(diǎn)，不代表在線配資觀點(diǎn)
相關(guān)文章
