2023年9月 29日,由阿里云、NVIDIA聯(lián)合主辦,阿里云天池平臺承辦的“NVIDIA TensorRT Hackathon 2023生成式 AI模型優(yōu)化賽”圓滿落幕。該賽事自2020年以來,已成功舉辦三屆,本屆賽事于今年 7月啟動,吸引了來自全國729支開發(fā)者團隊報名參賽,其中共有 40支團隊晉級復賽,最終 26支團隊于決賽中脫穎而出,分獲冠軍/亞軍/季軍及優(yōu)勝獎,展現(xiàn)出了卓越的技術實力。
解鎖 TensorRT-LLM挖掘生成式 AI新需求
今年的NVIDIA TensorRT Hackathon著重提升選手開發(fā) TensorRT應用的能力。
在過去的一年里,生成式 AI迎來了爆發(fā)式增長。計算機能夠批量生成大量圖像和文本,有的甚至能夠媲美專業(yè)創(chuàng)作者的作品。這為未來生成式 AI模型的發(fā)展鋪平了道路,令人充滿期待。正因如此,NVIDIA TensorRT Hackathon 2023選擇生成式 AI模型作為比賽的主題,以激發(fā)選手的創(chuàng)新潛力。
今年的比賽設置了初賽和復賽兩組賽題——初賽階段,選手需要利用 TensorRT加速帶有 ControlNet的 Stable Diffusion pipeline,以優(yōu)化后的運行時間和出圖質量作為主要排名依據(jù);復賽為開放賽題,選手可自由選擇公開的 Transformer模型,并利用 TensorRT或 NVIDIA TensorRT-LLM進行模型推理優(yōu)化。
NVIDIA TensorRT™作為 GPU上的 AI推理加速庫,一直以來都備受業(yè)界認可與青睞。本次比賽的背后是 NVIDIA TensorRT開發(fā)團隊對產品不斷進行改進和優(yōu)化的結果。通過讓更多模型能夠順利通過 ONNX自動解析得到加速,并對常見模型結構進行深度優(yōu)化,極大地提高了 TensorRT的可用性和性能。這意味著大部分模型無需經(jīng)過繁瑣的手工優(yōu)化,就能夠在 TensorRT上有出色的性能表現(xiàn)。
TensorRT-LLM是 NVIDIA即將推出用于大語言模型推理的工具,目前已于官網(wǎng)開放試用。作為此次復賽推薦使用的開發(fā)工具之一,TensorRT-LLM包含 TensorRT深度學習編譯器,并且?guī)в薪?jīng)過優(yōu)化的 CUDA kernel、前處理和后處理步驟,以及多 GPU/多節(jié)點通信,可以在 NVIDIA GPU上提供出類拔萃的性能。它通過一個開源的模塊化 Python應用 API提高易用性和可擴展性,使開發(fā)人員能夠嘗試新的 LLM,提供最頂尖的性能和快速自定義功能,且不需要開發(fā)人員具備深厚的 C++或 CUDA知識。
作為本次大賽的主辦方之一,阿里云天池平臺為參賽選手提供了卓越的云上技術支持,在阿里云GPU云服務器中內置 NVIDIA A10 Tensor Core GPU,參賽者通過云上實例進行開發(fā)和訓練優(yōu)化模型,體驗云開發(fā)時代的AI工程化魅力。同時,由NVIDIA 30名工程師組成導師團隊,為晉級復賽的 40支隊伍提供一對一輔導陪賽,助力選手獲得佳績。
從實踐到迭代腦力與創(chuàng)造力的集中比拼
本次比賽中涌現(xiàn)出大量優(yōu)秀的開發(fā)者。在獲獎的 26支團隊中,有不少團隊選擇借助 TensorRT-LLM對通義千問-7B進行模型推理優(yōu)化。
通義千問-7B(Qwen-7B)是阿里云研發(fā)的通義千問大模型系列的 70億參數(shù)規(guī)模的模型,基于 Transformer的大語言模型,在超大規(guī)模的預訓練數(shù)據(jù)上進行訓練得到。在 Qwen-7B的基礎上,還使用對齊機制打造了基于大語言模型的 AI助手 Qwen-7B-Chat。
獲得此次比賽一等獎的“無聲優(yōu)化者(著)”團隊,選擇使用 TensorRT-LLM完成對 Qwen-7B-Chat實現(xiàn)推理加速。在開發(fā)過程中,克服了 Hugging Face轉 Tensor-LLM、首次運行報顯存分配錯誤、模型 logits無法對齊等挑戰(zhàn)與困難,最終在優(yōu)化效果上,吞吐量最高提升了4.57倍,生成速度最高提升了5.56倍。
而獲得此次賽事二等獎的“NaN-emm”團隊,在復賽階段,則選擇使用 TensorRT-LLM實現(xiàn) RPTQ量化。RPTQ是一種新穎的基于重排序的量化方法,同時量化了權重與中間結果(W8A8),加速了計算。從最開始不熟悉任何 LLM模型,到后續(xù)逐步學習和了解相關技術,“NaN-emm”團隊啟用了GEMM plugin,GPT Attention plugin,完成了 VIT、Q-Former、Vicuna-7B模型的轉化,最終通過 40個測試數(shù)據(jù),基于 Torch框架推理耗時 145秒,而經(jīng)過 TensorRT-LLM優(yōu)化的推理引擎耗時為 115秒。
本次大賽還涌現(xiàn)了一批優(yōu)秀的開發(fā)者,本屆參賽選手鄧順子不僅率領隊伍獲得了一等獎,還收獲了本次比賽唯一的特別貢獻獎。他表示,2022年的 Hackathon比賽是他首次接觸 TensorRT,這使他對模型推理加速產生了濃厚的興趣。盡管當時未能進入復賽,但那次經(jīng)歷讓他深感自身技能的不足。在上一次比賽中,他目睹了頂尖選手使用 FasterTransformer在比賽中取得領先地位,這一經(jīng)歷讓他對 AI技術有了更深入的理解和追求。隨后,他積極做 TensorRT上的模型開發(fā),特別是對 ChatGLM/Bloom等新興模型進行了優(yōu)化,感受到了 TensorRT的強大。
今年,他再次參加了 TensorRT Hackathon 2023,利用 TensorRT-LLM成功優(yōu)化了 QWen大模型,實現(xiàn)了自己的夢想。他感謝主辦方給予的機會,團隊的支持,以及所有參賽者的努力,他期待未來能與大家一起為 AI技術的發(fā)展創(chuàng)造更多奇跡。
人工智能應用場景創(chuàng)新日新月異,AI模型的開發(fā)與部署也需要注入新的動能。在此次賽事中,選手們基于 TensorRT挖掘出更多的潛能和功能需求。未來,阿里云和NVIDIA還將持續(xù)為開發(fā)者和技術愛好者提供展示技能和創(chuàng)意的平臺,天池平臺將與更多優(yōu)秀的開發(fā)者一同推進 TensorRT的發(fā)展,讓 AI在 GPU上更容易、更高效地部署。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
近日，杭州熙凰科技集團有限公司成為阿里云產品生態(tài)合作伙伴。未來，熙凰集團將攜手云計算與科技智能的力量，共同建設影響世界的數(shù)字化企業(yè)服務產品和解決方案，為全球企業(yè)帶來持續(xù)成功的客戶價值。
阿里云將會在今年9月30日之前，全面關停代銷業(yè)務。這件事實際上始于今年4月份，阿里云當時已開始通知其經(jīng)銷商。這些經(jīng)銷商早已有所準備。
阿里云成為國內首個加入大模型開源行列的大型科技企業(yè)。就在昨天，阿里云公開表態(tài)，把自家的通義千問大模型開源。阿里云把通用70億參數(shù)模型，包括Qwen-7B和對話模型Qwen-7B-Chat這兩款大模型產品給開源了。
6月1日,2023阿里云峰會·粵港澳大灣區(qū)在廣州舉行,會上阿里云正式推出《云卓越架構白皮書》,為企業(yè)用云管云解決方案和產品化落地提供指引,助力企業(yè)構建更加安全、高效、穩(wěn)定的云架構。本書由阿里云架構師團隊、產品團隊、全球交付團隊等眾多團隊基于過去多年服務企業(yè)的經(jīng)驗總結共同撰寫,從安全合規(guī)、穩(wěn)定性、成本
5月17日，2023阿里云峰會·常州站上，阿里云正式發(fā)布第八代企業(yè)級計算實例g8a以及性能增強性實例g8ae。兩款實例搭載第四代AMDEPYC處理器，標配阿里云eRDMA大規(guī)模加速能力，網(wǎng)絡延時低至8微秒。其中，g8a綜合性價比平均提升15%以上，g8ae算力最高提升55%，在AI推理與訓練、深度學
高考一結束，忙壞了海內外一眾大模型。豆包、DeepSeek、ChatGPT、元寶、文心一言、通義千問……掀起了一波“AI趕考”大戰(zhàn)。據(jù)悉，去年高考期間，大模型的成績才勉強過一本線，今年集體晉升985。據(jù)悉，豆包甚至過了清北的錄取線。頭部大模型在高考“考場”上玩得不亦樂乎，中小AI創(chuàng)企的處境卻日益尷尬
文/二風來源/節(jié)點財經(jīng)每年高考成績放榜后，數(shù)千萬考生和家長將迎來另一場硬仗——填報志愿。今年，這一領域迎來了AI的全面介入，多家互聯(lián)網(wǎng)大廠和教育公司紛紛推出智能志愿填報產品，為考生提供院校和專業(yè)選擇建議。據(jù)艾媒咨詢數(shù)據(jù)，2023年中國高考志愿填報市場付費規(guī)模約9.5億元，近九成考生愿意借助志愿填報服
蘋果還沒從WWDC25的“群嘲”中走出，又迎來了一次新的痛擊。據(jù)路透社報道，21日，蘋果公司遭到股東集體起訴，被指在信息披露中低估了將先進生成式AI整合進語音助手Siri所需的時間，導致iPhone銷量受影響、股價下滑，構成證券欺詐。在這份訴訟中，庫克、首席財務官凱文·帕雷克及前首席財務官盧卡·馬埃
華為的盤古大模型終于推出新版本了。6月20日華為云計算CEO張平安宣布基于CloudMatrix384超節(jié)點的新一代昇騰AI云服務全面上線，盤古大模型5.5同步發(fā)布。不過，當前國內的AI大模型競爭可謂是相當激烈，華為的盤古大模型在眾多大模型中并不是十分出眾。華為云此次重磅推出的盤古大模型5.5能否從
一場沒有羅永浩的“羅永浩直播”，正在改寫帶貨規(guī)則當數(shù)字人羅永浩在百度直播間舉起青島啤酒，以標志性幽默回應粉絲提問時，彈幕瘋狂刷出“這是真的還是假的？”的疑問。這場持續(xù)近7小時的直播，創(chuàng)下1300萬人次觀看、GMV突破5500萬元的驚人戰(zhàn)績，甚至超過了他本人一個月前真人直播5000萬元的成績。數(shù)字人主
高頻互動、個性化教學、突破成本壁壘，AI老師讓英語學習更普惠。6月24日，新東方正式推出面向消費者的首款原創(chuàng)AI教育產品——“新東方AI1對1”。這款產品標志著新東方在教育+AI戰(zhàn)略布局中邁出關鍵一步，旨在以科技力量推動優(yōu)質教育資源的普惠發(fā)展。在發(fā)布會現(xiàn)場，新東方教育科技集團CEO周成剛表示：“AI
大家好，我是白楊SEO，專注SEO十年以上，全網(wǎng)SEO流量實戰(zhàn)派，AI搜索優(yōu)化研究者。為什么想分享這個AI工作流及coze扣子這個？因為我們搞流量的如果學會了用AI給我們生產提效將更有助于我們去獲客。目前白楊SEO用得并不是很好，分享僅供參考，希望給你一些啟發(fā)。老規(guī)矩，先說下文章大綱如下：1、AI工
近期，“AI新云”（NeoCloud）概念在科技圈和投資圈引發(fā)熱潮。今年3月，被業(yè)內稱作“英偉達親兒子”的AI基礎設施企業(yè)CoreWeave上市。這家依托英偉達GPU資源沖擊新云市場的初創(chuàng)公司，上市不到3個月市值飆升359%，達881億美元。CoreWeave的“身價暴漲”吸引了無數(shù)視線。對此，不少
