技術手段助大模型成本“瘦身”--經濟·科技--人民網
科技大會經濟瘦身火山成本跳動總裁模型豆包人民網字節引擎原動力譚待技術手段 文章 參考資訊
原標題:技術手段助大模型成本“瘦身”
“降價的基本邏輯是,我們有信心用技術手段降低成本,市場也需要更低價的大模型。”5月15日,字節跳動豆包大模型在火山引擎原動力大會上發布,火山引擎總裁譚待在公布豆包大模型定價時如是說。
豆包大模型的超低價格引起業內關注。據悉,豆包主力模型的推理輸入價格隻有0.0008元/千Tokens(數據中的基本單元),比行業價格便宜99.3%。對此,譚待坦言:“降價是用技術優化成本來實現的。如果只是補貼,用虧損換收入是不可持續的,我們不會走這條路。”
對大模型推理成本的優化,可通過很多技術手段實現。首先是模型本身,模型結構、訓練方法都可以持續改進,包括業界很關注的MoE(混合專家模型),就是優化推理成本很好的解決方案。其次是工程上的優化。大模型的調用量越大,優化推理成本的空間也越大。以前的模型都是單機推理,大模型用的是分布式推理。所以如果能把各種各樣的底層算力用得更好,推理成本就會大大降低。
譚待表示,豆包大模型平均每天處理1200億Tokens文本、生成3000萬張圖片,不同任務有不同的負載,可以把它們混合在一起,通過智能調度提高它們的利用率,就能極大地提升資源利用率,實現整體成本的優化。
“大的使用量,才能打磨出好模型,大幅降低模型推理的單位成本。”譚待拿字節跳動內部業務舉例,飛書的主要流量高峰在工作時間,抖音在下班后休閑時間的流量更高,這些不同業務的大模型推理,也能根據業務特點錯峰使用,降低成本。
豆包大模型原名“雲雀”,是國內首批通過算法備案的大模型之一。字節跳動基於豆包大模型打造了AI對話助手“豆包”、AI應用開發平台“扣子”、互動娛樂應用“貓箱”,以及星繪、即夢等AI創作工具,並把大模型接入抖音、番茄小說、飛書、巨量引擎等50余個業務,用以提升效率和優化產品體驗。
大模型從以分計價到以厘計價,將助力企業以更低成本加速業務創新。“比如一個人現在要創業,如果要花1萬元錢調用大模型,可能會覺得有點貴。我們把價格降到1%都不到,相當於花100元錢,就能把大模型用起來,相關想法也就更容易得到嘗試。”譚待表示,企業的AI轉型充滿不確定性,試錯成本要盡量低,才能更快更多地實現大模型的應用落地,從而讓整個行業受益。
(責編:楊曦、陳鍵)
關注公眾號:人民網財經分享讓更多人看到
眼球外凸 近視雷射醫院情報 醫院 聖誕健康養生 呂睿庭 齒列
金世正3週瘦4公斤!養成這6個飲食習慣從52→48kg,三餐照吃不復胖!
金世正3週瘦4公斤!養成這6個飲食習慣從52→48kg,三餐照吃不復胖!(圖片來源:金世正instagram)體重小基數的女生怎麼瘦?讓...
齊魯製藥抗腫瘤創新藥艾帕洛利托沃瑞利單抗(QL1706)即將亮相ESMO大會-新浪香港
济南2023年10月19日/美通社/—齊魯製藥創新型雙功能組合抗體艾帕洛利托沃瑞利單抗(QL1706)臨床數據將以簡短口頭報告形式,...
資本集團:美息見頂後利股市看好健康護理AI具長期增長股份-20240327-經濟
提及健康護理板塊,行業向來受經濟周期影響較低,過往被視為防守股,近年隨着醫療保健創新,成為AI以外,另一重要的長期發展...
《生醫股》2023FARF研討會逸達將發表FP-045臨床試驗設計
該研究結果顯示,在Aldh2原型和顯性失去Aldh2活性Glu504Lys(Aldh2*2)殖入式基因改變的雄性小鼠肥胖模型中,口服醛去氫(酉...
丟丟妹1個月狂鏟20公斤!公開「三餐菜單」:沒運動也不復胖
李明珊1個月狂鏟20公斤,公開減肥菜單。(圖/翻攝自李明珊IG)「直播天后」李明珊(丟丟妹)去(2023)年情斷前夫王心正,...
【你可能不知道的生活細節】中醫教你3個事半功倍的減肥瘦身方法-EsquireHK
應酬飯局令不少男士的腰間贅肉積聚而形成大肚腩,加上身體水份補充不足的話,會出現便秘或泄瀉兩極的反應,如見此狀,即表示...
多吃20種激瘦食物就會瘦!喝這杯活化「減肥基因」瘦身又防心血管疾病"
吃對食物越吃越瘦!國外研究發現,有20種激瘦食物(Sirtfoods),能夠活化減肥基因,建議加入日常飲食內容,有助於瘦身、預...
保健品牌推腦部保健活動!免費使用能量保健儀器60日活腦兼幫助睡眠!持長者咭延長...
人人設法保健養生,除了煲湯水滋補、服食合適營養補充品外,現時還有很多儀器幫助保健!售賣保健能量科技產品及服務的依...