PCM

標籤: AWS

  • Amazon Q Developer 更新 Java 程式碼見效　加碼活化大型主機、.NET、VMware 程式

    Amazon Q Developer 更新 Java 程式碼見效　加碼活化大型主機、.NET、VMware 程式

    AWS 去年發表智能助理 Amazon Q，今年 4 月正式可用。Amazon Q 無論是開發人員用的 Developer 和商業用戶的 Business，在 AWS re:Invent 2024 加入多項新功能。其中 Developer 加入現代化舊有系統程式碼，包括大型主機、.NET 程式轉至 Linux 和 VMware 工作負載。

    AWS 行政總裁 Matt Garman 表示，去年推出 Amazon Q Developer 其中的更新 Java 程式功能，將遠古版本的程式碼更新至 Java 17 成效顯著。亞馬遜過去一年在內部使用，已更新逾 1 萬個程式，開發人員藉此省下 4,500 年的工時，每年節省營運開支 2.6 億美元。

    Amazon Q Developer 追加更多活化古舊程式碼，可以在現代化的雲端基建上運行，吸引更多企業遷移上雲端。例如新增將 .NET 程式從 Windows 遷移至 Linux 運行。雖然微軟近年聲稱支援 Linux，不過只限新版本 .NET，古舊的程式仍無法脫離，導致安全問題、不斷修補（patching）、難以擴充，以至營運成本與日俱增。Amazon Q Developer 可以加速 .NET 程式遷至 Linux，改善安全和執行效果，節省成本最多 40%。

    Amazon Q Developer 更新 VMware 工作負載遷移至雲端原生架構，能夠自動規劃，也疏理各程式之間的關係、更改網絡設定。Matt Garman 稱，有助減低開支，尤其整合後以可削減訂購授權。

    另一重要新增功能是活化大型主機，將 IBM z/OS 系統的程式活化，包括自動分析、規劃和重建程式碼，以至為程式碼生成說明文件，給開發人員日後跟進可有依據。

    代開發人員生成測試、文件

    Amazon Q Developer 還新增多個為開發人員減省工作的功能：

    • 生成和執行單元測試，協助初步檢視品質
    • 生成開發文件，代勞編撰工作，專注編寫程式碼
    • 檢視程式碼品質，如從整體識別安全漏洞

    Amazon Q Developer 又為營運團隊調查 CloudWatch 的警報。CloudWatch 收集 AWS 基建出現異常情況，Amazon Q Developer 代為從各服務收集數據，分析之間的關係，了解異常訊號的來源，整理後向開發人員匯報，提供可行的解決建議。甚至部分問題有預設的操作手冊，徵求開發人員同意可自動執行去解決。這功能省去大量疑難排解工作，幫勵直接找出問題所在。

    Amazon Q 由多個 LLM 推動

    AWS 生成式 AI 及 Amazon Q 總監 David Pessis 指出，Amazon Q 前身是 CodeWhisperer，協助開發人員編寫程式和檢查安全程式碼的漏洞。如今結合大型語言模型，進一步擴充功能，甚至發展出商業用的 Amazon Q Business，給前線和管理層用自然語言查問和分析業務數據。

    不過 David Pessis 卻未有披露服務所用的 LLM，只表示用上多個語言模型驅動，取用各模型的長處提供智能助理服務，而且隨著技術進步或會更改模型。新發表的 Nova 模型肯定會加入其中。實際上，用戶大多只關注 Amazon Q 能否完成所指示的任務，毋須理解掌握背後所涉及的 LLM。

    他表示，Amazon Q Business 今年 4 月才正式可用，各行業都有案例當上員工的 AI 助理，尤其掌握敏感數據行業，如金融、政府、醫療機構。強調不會使用企業的數據去訓練 AI 模型。

    Amazon Q Business 冀成業務 AI 助理

    今年 Amazon Q Business 重大更新是整合商業智能（BI）服務 QuickSight，令本身用於分析非結構數據，如今新加入結構數據。將兩者結合查詢，能夠作深度分析。David Pessis 舉例，銷售團隊過往經 QuickSight 可查問當前的銷售成績，而在 Amazon Q Business 能進一步問達到銷售目標幾多，AI 代理便會翻查文件或電郵，找出當季或年內的銷售目標，跟銷售成績作比較，便知道團隊的情況。

    平台又開放 Amazon Q Business index 予第三方開發商接入，能同時查詢其他數據，如 Asana、Miro、PagerDuty、Zoom 等已支援。David Pessis 稱，用戶毋須上傳數據至其他軟件，亦可跨平台整合數據，加強分析內容。

    Amazon Q Business 的自動化功能支援複雜工作流程，減省前線員工的程序。例如人力資源部為新員工上任，如今 Amazon Q Business 可代為處理，包括設定系統帳戶、安排辦公位置、員工卡等。

    David Pessis 還透露 Amazon Q Business 的發展方向廣闊，將會擴展處理更多數據，在單一平台上完成分析，成為商業用戶的業務助理。實際上，不論 Amazon Q Developer 或 Amazon Q Business 推出僅半年，仍屬非常初步階段，尚有倘大的發展空間，例如將會擴展支援語言，包括亞洲地區的日文、韓文，以至中文。

    AWS re:Invent 2024 相關報道

    最新影片

  • AWS 發表基礎模型 Nova　表現超越 Gemini、Llama，成本慳 75%

    AWS 發表基礎模型 Nova　表現超越 Gemini、Llama，成本慳 75%

    AWS re:Invent 2024 繼續發布大量生成式 AI 產品，另一主要發布是基礎模型 Nova。Amazon Nova 模型設有 6 個版本：Micro、Lite、Pro、Premier、Canvas 和 Reels，強調評分表現高過 Google Cloud 的 Gemini 和 Meta 的 Llama，生成回應速度快，而且較其他大型語言模型節省最多 75% 成本。

    已升任亞馬遜行政總裁的 Andy Jassy 回歸 re:Invent 舞台發表 Nova 模型。他表示，亞馬遜是 AWS 最大客戶，當初建立 AI 技術並非只為扮有型，而是要解決實際業務問題才決定開發更多基礎模型，將生成式 AI 融入各項業務，提升日常運作效率。

    以客戶服務為例，加入對話機械人接待客戶。客戶最常查詢的是追蹤包裹，只要輸入「追蹤」，透過 LLM 能理解所指的包裹，尋找相關資訊回覆。又例如協助逾 50 萬賣家產生詳細的產品網頁，僅用幾句簡單文字和圖片便可生成內容豐客的產品資訊，吸引客戶購買。所建立的模型過去幾個月在內部使用已見成效，開放給 AWS 客戶使用可能同樣有業務價值。

    Nova 處理文字強調低時延

    Nova 模型有多個版本：

    • Nova Micro 處理文字模型，賣點低時延和低成本。
    • Nova Lite 低成本多種模態模型，可處理文字、影像和影片。
    • Nova Pro 支援多種模態，同時有準確度、速度和成本優勢。
    • Nova Premier 處理複雜推理任務，能夠指導精練自訂模型。
    • Nova Canvas 生成圖像。
    • Nova Reel 生成影像。

    Nova 支援超過 200 種語言，Micro 版本的上文下理範圍有 12.8 萬字詞元（Token），Lite 版本和 Pro 版本為 30 萬，能分析 30 分鐘影片內容。明年首推出的 Premier 版本支援超過 200 萬詞元。

    雖然 Andy Jassy 未有公布各版本的參數，不過將處理文字的 Micro 版本與 Meta 的 LLaMa 3.1 8B 和 Google Gemini 1.5 Flash-8B 作比較，11 基準測試均表現更佳或平分秋色。Micro 版本支援每秒輸出 210 個詞元，速度較其他小型模型更快，適用於即時回應的環境。

    Lite 版本與 OpenAI 的 GPT-4o mini 和 Anthropic 的 Claude 3.5 Haiku 比較，大部分基準測試均持平或更佳。理解圖片和影片、代理智能工作流程的基準測試獲認證。

    Pro 版本與 GPT-4o 及 Gemini 1.5 Pro 的比現亦大部分持平或更佳，僅落後於 Claude Sonnet 3.5v2 比較的基準測試。Pro 版本通過綜合 RAG 基準測試（Comprehensive RAG Benchmark）、Berkeley Function Calling Leaderboard 和 Mind2Web 的認證，可用於遵循指令和多模態智能工作流程。

    Canvas 版本用文字提示產生圖像，甚至作修改。Reel 用文字或參考圖像生成影片，目前可生成 6 秒影片，支援平移、360 度旋轉和縮放等影片調整，稍後將加長至生成 2 分鐘影片。

    Nova Reels 生成的示範影片。

    明年推出 any-to-any 模型

    Andy Jassy 又預告，明年將推出語音到語音（speech-to-speech）模型，支援即時翻譯和非語言訊號（如語調和節奏），提供低時延和接近真人的對話模式，預計可改變對話式 AI 技術。另外，明年中推出任意到任意（any-to-any）模型，可以輸入文字、圖像、音樂或影片，輸出任何多媒體內容。

    企業和開發人員經 Bedrock 存取 Nova 模型，用企業數據和 RAG 方法自訂調整。Andy Jassy 表示，亞馬遜再度推出基礎模型，連同 Claude、Stable Diffusion、Llama、Mistral AI 等模型，目的讓客戶有更多選擇，取用合適的模型完成任務，跟 EC2 提供自訂 Arm 處理器和訓練晶片，又有業界的處理器和 GPU 同出一徹。

    低成本、低時延和高準確度

    AWS 副總裁、機械學習及 AI 總經理 Vasi Philomin 補充，Nova 模型可視為下一代 Titan 模型，不過 Titan 模型實為文字嵌入式，配合 RAG 使用。除了自行研發，還在 Bedrock 上給客戶提供眾多模型，有更多選擇，而且不會有單一模型適用所有環境。

    Vasi Philomin 又稱，開發 Nova 模型另一考慮是針對使用情況，企業需要低成本、低時延和高準確度，模型設不同版本為達到此彈性。Micro 可用於最常見的處理文字，低成本和快速回應，足以應付大部分用途。目前按 BedRock 上的用戶數據反映，大部分都選用起碼兩個模型。

    然而，Nova 模型不公布各版本的參數資料，Vasi Philomin 認為，企業客戶按各版本的智能級別、上文下理範圍的詞元選擇模型已足夠，實際上模型的參數可能隨著新版本而增加，單憑參數難作準確比較。

    Vasi Philomin 指出，明年推出的語音到語音模型和任意到任意模型將進一步擴展 AI 的用途，前者可做實時翻譯，打破現實環境的語言障礙；後者不限來源，在單一模型能夠執行多種任務。

    AWS re:Invent 2024 相關報道

    AWS re:Invent 2024 還有其他新發布，包括新一代基礎模型 Amazon Nova！未能親身前往美國的你，歡迎參加 12 月 19 日香港站 AWS re:invent recap，同樣有最焦點、最重要、最新鮮的內容在場分享，你可以用最短時間掌握最新的 AWS 技術，不要錯過！

    登記網址：https://ow.ly/9QXk50Uo4fU

    最新影片

  • AWS 全攻生成式 AI　超強 Trainium2 訓練晶片蘋果公司都用

    AWS 全攻生成式 AI　超強 Trainium2 訓練晶片蘋果公司都用

    AWS 在美國拉斯維加斯舉行大會 re:Invent 2024，今年繼續全攻生成式 AI，發表大量產品和服務。當中的重點產品是採用訓練晶片 Trainium2 的 Trn2 執行個體正式可用（GA），蘋果公司的 Apple Intelligence 模型亦經由這晶片訓練。AWS 還發表 Trn2 UltraServer，提供逾 83FLOPS 運算效能，強勁可比超級電腦。

    AWS 新上任的行政總裁 Matt Garman 首次主持 re:Invent 大會，內容主攻生成式 AI，先由基建運算說起。AWS 去年發表內部研發訓晶片 Trainium2，今年正式可用並推出強調成本效益的 Trn2 執行個體。每個 Trn2 執行個體由 16 枚 Trainium2 支援，運算效能最高 20.8PFLOPS。Trn2 執行個體的成本，較其他 GPU 訓練模型的執行個體低 30% 至 40%。

    蘋果公司試用 Trn2 效能升級

    Trn2 執行個體在正式可用之前已有多間企業試用，包括蘋果公司的 Apple Intelligence 在內。蘋果公司機械學習及 AI 高級總監 Benoit Dupin 在主題演講上分享，試用 Trainium2 預先訓練推動 Apple Intelligence 模型，成效較前一代提升 50%。

    Benoit Dupin 還指出，旗下的硬件產品（如 iPhone、iPad、Apple TV）至軟件服務（如 Apple Music、Sports、News 等），背後的機械學習功能和伺服器基建均由 AWS 支援。用 Arm 處理器 Graviton 和推理晶片 Inferentia 處理這些工作負載，比 x86 執行個體的效能提升 40%。

    Benoit Dupin 是今年 re:Invent 大會的首個驚喜嘉賓，在公共雲平台競爭激烈的環境，尤其微軟和 Google Cloud 積極用 AI 服務搶佔 AWS 的市場，有蘋果公司的代表站台，等於注入強心針。Benoit Dupin 亦是前 Amazon 員工，A9 部門副總裁負責搜尋引擎和廣告。

    蘋果公司以外，還有 Adobe 的生成式 AI 模型 Firefly、開發程式 AI 創業公司 Poolside.ai、Databricks 和 Qualcomm 等試用 Trainium2。

    Trn2 UltraServer 可比超級電腦

    除了 Trn2 執行個體，Matt Garman 還發表運算效能更強大的 Trn2 UltraServer，用 NeuronLink 互連 4 個 Trn2 執行個體，合共 64 枚 Trainium2 並行運算，提供最多 83.2PFLOPS 效能。這水平相當於 TOP500 超級電腦上月公布名單第 18 位德國的 JETI。

    AWS 效用運算資深副總裁 Peter Desantis 指出，Trn2 UltraServer 總共兩個標準 42U 機櫃，6TB 記憶體，185TBps 超高頻寬記憶體。連接技術 NeuronLink 直接連接各枚 Trainium2 晶片，速度 2Tbps，時延僅 1 微秒。

    AWS 投資 40 億美元的大型語言模型創業公司 Anthropic 將使用 Trn2 UltraServer 建起超級叢集，用數以十萬計 Trainium2 晶片組成地上最強 ML 訓練環境。anthropic 聯合創辦人兼技術總監 Tom Brown 稱這超級叢集為 Project Rainier，提供多 5 倍運算效能訓練下一代模型，起碼達 1 EFLOPS 級數。最新的 Claude 3.5 Haiku 亦會在 Trainium2 晶片上運行推理，配合 Bedrock 時延優化推理服務，推理反應速度提升 60%。

    Trainium2 配合 Bedrock 時延優化推理服務，大幅縮減生成內容的回應時間。Peter Desantis 稱，以 Llama 3.1 405B 模型為例，生成回應僅用 3.9 秒，幾乎是在 Azure 運行的一半，比在 Google Cloud Vertex 上更快 10 秒之多。

    Matt Garman 又預告，將在明年發表 3 納米製程的 Trainium3 晶片，雙倍效能、多 40% 能源效益。除了自研 AI 晶片，還繼續與業界合作供應 GPU 基建，明年推出新執行個體 P6，採用 NVIDIA Blackwell 。

    AWS re:Invent 2024 相關報道

    未能親身前往美國的你，歡迎參加 12 月 19 日香港站 AWS re:invent recap，同樣有最焦點、最重要、最新鮮的內容在場分享，你可以用最短時間掌握最新的 AWS 技術，不要錯過！登記網址 👉🏻 https://ow.ly/9QXk50Uo4fU
    （參加者必須以公司電郵地址登記）

    最新影片

  • 雲端對全球 GDP 貢獻　未來六年預計超過 12 兆美元

    雲端對全球 GDP 貢獻　未來六年預計超過 12 兆美元

    有最新研究報告顯示，2023 年雲運算技術對全球國內生產總值（GDP）的整體貢獻超過 1 兆美元，由雲端支援的 AI 則為 GDP 貢獻逾 980 億美元。對於未來發展，其中一項研究預測在 2024 年至 2030 年間，採用雲端所產生的全球 GDP 將突破 12 兆美元，而由雲端支援的 AI 將額外貢獻 1.5 兆美元。

    Amazon Web Services（AWS）與專門從事經濟影響研究的市場調查與諮詢公司電訊諮詢服務（Telecom Advisory Services）近日發布三項新研究，評估雲端運算的經濟影響力、人工智能（AI）的採用方式以及使用雲運算提升的能源生產力。其中，從經濟影響力上，研究結果顯示，2023 年雲運算在美國和加拿大創造逾 4,340 億美元 GDP，其中 560 億美元來自由雲端支援的 AI。歐洲國家有逾 3,210 億美元 GDP 來自雲運算，而由雲端支援的 AI 貢獻其中的 300 億美元。亞太國家則分別有逾 1,520 億美元 GDP 來自雲運算，以及有逾 70 多億美元來自由雲端支援的 AI。

    報告預計，未來六年，使用雲運算和 AI 將為全球帶來更可觀的經濟效益。到 2030 年，採用雲預計將為美國和加拿大創造逾 5.6 兆美元 GDP，其中 8,420 億美元將來自由雲端支援的 AI。在歐洲國家，這兩項數據約為 2.7 兆美元和 4,340億美元。在亞太地區，則有望產生逾 2.7 兆美元及逾 2,020 億美元。

    雲運算帶來能源效益

    三項新研究中，其中一項調查雲運算技術對能源生產力的影響。能源生產力是指單位能耗（兆瓦時）所創造的經濟價值（GDP）。該研究顯示，提升能源生產力能讓企業以相同數量的能源產出更多商品和服務，從而降低各行各業的生產成本。該研究顯示，當一國的雲端採用率提升 10%，其能源生產力隨之提高，各行各業就能以相同數量的能源產出更多商品和服務，也可降低成本。企業節省的資金可重新投入到創新和業務拓展。按推算，能源生產力的提高可為全球經濟多帶來約 2,168 億美元 GDP。

    最新影片

  • AWS 香港開 GenAI Pop-up 體驗空間　企業動手試用 Amazon Q

    AWS 香港開 GenAI Pop-up 體驗空間　企業動手試用 Amazon Q

    生成式 AI 已經普及，不過仍有企業未找到實際用途引入至業務。AWS 在銅鑼灣辦公室開設「AWS GenAI Pop-up 體驗空間」，設有互動體驗區、工作坊等，讓企業、創業公司、開發人員等試用生成式 AI 技術，亦有員工解答用戶的問題，推動業界引入技術。

    體驗空間設有多項活動，包括：

    • 互動體驗區：超過 10 個展示，有 AWS 和合作夥伴的生成式 AI 相關產品及解決方案，如視覺辨識技術、語音軟件助理、生成式 BI （Business Intelligence）工具等。
    • GenAI 實戰工作坊：由 AWS 專家教導用企業級生成式 AI 支援助理及工具，解讀生成式 AI 在不同領域的趨勢與用途，如 AWS 的 Amazon Q 及 AWS App Studio 等服務。
    • GenAI 導賞團：由 AWS 專家帶領，講解體驗空間內的各種生成式 AI 方案。設即場問答環節，解答用戶疑難。
    • GenAI 行業專題分享：舉辦多場不同行業的技術活動和研討會，探討雲端技術、企業數碼轉型等議題，介紹生成式 AI 技術的創新策略與應用。
    • AWS AI 認證培訓課程：將舉辦多場 AI 認證培訓課程，協助參加者獲取相關的 AWS 認證。

    體驗空間設在 AWS 香港辦公室，期間限定至 12 月中旬，而且採用預約制。

    最新影片

  • Top 10 大型語言模型 Google 完勝　OpenAI 靠名聲排梗頸四

    Top 10 大型語言模型 Google 完勝　OpenAI 靠名聲排梗頸四

    人工智能（ AI ）技術發展白熱化，單是 LLM 大型語言模型已滿街都是，論技術當然有優劣之分， Forrester 對全球頂級的 LLM 做了審查、評分及排名，早前發布了《 The Forrester Wave™: AI Foundation Models For Language, Q2 2024 》報告，按排位有點出乎意料之外，香港人熟識又是帶起 AI 熱潮的 OpenAI ChatGPT-4 只能拿下第四位，榜首由 Google Gemini 取得。十大排名中有知名度不高的 Cohere Command 及 Databricks DBRX ，報告亦未有將中國開發的 LLM 納入評核範圍。

    Forrester 評選全球最重要的十大 LLM ，以模型產品、 AI 發展策略及整體市場表現作比較及評分。模型產品根據核心功能、代碼生成、治理和安全、模型管理、彈性和可擴展性、上下文限制（ Context Window ）和總體範圍比分。公司的 AI 發展策略涉及願景、合作夥伴生態系統和定價等。至於市場表現就以收入和客戶數量計算分數。

    Google Gemini 在三個項目中均表現突出，列入領導者（ Leaders ）之巔。 Forrester 的評價是 Google 擁有引領 AI 市場的一切條件——龐大的 AI 基礎設施、強勁的 AI 研究隊伍，以及愈來愈多 Google Cloud 企業客戶。

    資料來源：The Forrester Wave™: AI Foundation Models For Language, Q2 2024

    同樣打入領導者位置的還有 Databricks DBRX 和 Nvidia Nemotron ，按位置及分數計算，前者略高一籌。 Databricks DBRX 取得高分數要歸功於該平台提供預先訓練及可調節的模型，又允許企業使用自己數據訓練模型。 Forrester 對 Databricks 有高度評價，指其產品是企業客戶的理想選擇。 Nvidia Nemotron 讓企業開箱即用的特點成功令自己進佔三甲位置。

    至於最先帶起 AI 及 LLM 熱潮的 OpenAI，在模型產品的分數其實不及 IBM Granite ，幸好有高知名度在市場表現一項中拿下最高的 5 分，總成績保住梗頸四之位。未知這名次會否令該公司及一眾支持者失望。報告認為，企業若想利用模型本身的原始能力建立更複雜的應用架構，並建立多模式生成式 AI 應用，OpenAI 會是一個不錯的選擇。

    跟 OpenAI、IBM Granite 一樣列入強勁表現者（ Strong performers ）區間的 LLM ，還有第六位的 AWS Amazon Titan ，以總分 7.2 險勝 7.16 分排位第七位的 Microsoft Phi 。雖然 Forrester 將 AWS Amazon Titan 排在強勁表現者之內，報告卻提到，如果 AWS 希望其模型繼續成為該領域的重要參與者，需要專注改善 Titan 系列模型。報告同時透露，AWS 其實拒絕參與是次評估流程。至於 Microsoft Phi 就以小規模和嚴格管理的訓練數據集成功突圍。

    整理 Forrester 的報告後，全球十大 LLM 排名如下：

    1. Google Gemini
    2. Databricks DBRX
    3. Nvidia Nemotron
    4. OpenAI GPT-4
    5. IBM Granite
    6. AWS Amazon Titan
    7. Microsoft Phi
    8. Anthropic Claude
    9. Cohere Command
    10. Mistral AI
    十大 LLM 得分表。

    最新影片

  • 澳洲情報機關遷上雲端　用 AWS Top Secret Cloud 建機密運算

    澳洲情報機關遷上雲端　用 AWS Top Secret Cloud 建機密運算

    澳洲國防部的情報部門澳洲訊號局（Australian Signals Directorate，ASD）與 AWS 合作，用 Top Secret Cloud（TS Cloud）建立雲端平台，讓國防與情報機關安全地共享機密資訊。這項目的合約為期 10 年，價值 20 億澳元。

    澳洲政府在未來 10 年投入 150 億至 200 億澳元加強國防部網絡，又投資 85 億至 110 億澳元改善國防部的數據及 IT 系統，TS Cloud 是計畫的其中一部分。

    AWS 將在澳洲建 TS Cloud，給當地情報機關與國防軍隊分享情報，雲端上也加入人工智能和機械學習，改變托管和分析數據的方式。這機密雲端採用最高安全標準而建，分 3 個數據中心共同營運，符合澳洲政府的數據隔離和存放地點的安全要求。ASD 在 TS Cloud 上選用不同的 AWS 服務，如 EC2、S3、數據庫、SageMaker 等。

    AWS 目前在澳洲已建兩個可用區域，分別雪梨和墨爾本，都已取得澳洲政府托管架構（Hosting Certification Framework）的策略性托管供應商（Strategic Hosting Provider）認證。

    美國國防部在 2019 年首先推出價值 100 億美元的「聯合企業防禦基建」（JEDI）合約，本由微軟 Azure 取得。後來 AWS 以前總統對亞馬遜創辦人 Jeff Bezos 偏見，提告法院獲發禁制令。國防部在 2021 年改為發出「聯合作戰人員雲端能力」（JWCC）合約，初期只限 AWS 與微軟參與，後來加入 Google、甲骨文等競投。AWS 的 TS Cloud 服務由此而來，如今首次衝出美國本土市場。

    最新影片

  • Google Cloud 第 6 代 TPU 快 4.7 倍　超級電腦架構訓練 AI 模型

    Google Cloud 第 6 代 TPU 快 4.7 倍　超級電腦架構訓練 AI 模型

    Google Cloud 最近發表多項硬件加速訓練 AI，包括第 6 代 TPU Trillium。Google Cloud 運算及機械學習基建業務副總裁暨總經理 Mark Lohmeyer 稱，AI 基建正在朝著軟硬件整合方向發展，建 AI Hypercomputer 超級電腦架構，加速訓練和推理成效。

    科技企業的 LLM 大戰由微軟和 OpenAI 合作領先市場，令 Google 要急起直追，如去年 5 月推出 PaLM 2，年底又改為用 Gemini 應戰。即使 Google 的 LLM 屢次變陣，背後採用自行研發的 AI 加速晶片 TPU 訓練。最前正式推出 TPU v5e，上月又發表第 6 代 TPU Trillium，預計今年底給企業客戶試用。

    Lohmeyer 稱，TPU Trillium 的運算效能較前一代高 4.7 倍，高頻寬記憶體（HBM）增加 1 倍，晶片之間互連頻寬增 1 倍，耗能效善改善超過 67%。將多個 TPU 晶片串連，可以建起效能可比超級電腦的叢集。例如 Gemini 用上由 8,960 顆前一代 TPU v5e 建的叢集訓練而成。

    Google Cloud 上目前提供的 AI 運算基建有 TPU v5e、NVIDIA H100 GPU，而明年會有 TPU Trillium、NVIDIA Blackwell GPU，以及自訂的 Arm 處理器 Axion。

    AWS 設有 SageMaker 及 Bedrock，或微軟 Azure 的 AI Studio 管理 AI 模型，而 Google Cloud 在 2021 年推出同類方案 VertexAI。Lohmeyer 指出，VertexAI 從選擇 AI 模型、用數據調整、檢視成效，到最後整合至企業的應用程式。其中在 Vertex AI 設有模式園地（model garden），提供逾 150 模型給企業選用，如 Gemini、Gemma，以至第三方模型 Anthropic 的 Claude 3​​。

    Google Cloud 在去年推出 AI Hypercomputer 方案，將硬件、軟件整合，加快執行 AI 工作負載的效能。Lohmeyer 形容，有如 20 年前用軟件優化 x86 架構建立雲端平台一樣，現時同樣通過軟件整合硬件平台。AI Hypercomputer 方案調整、管理及動態協調管理硬件上的 AI 訓練及推論工作負載。

    最新影片

  • 代購平台 Everuts 用 AWS 基建應付用戶增長　探索 AI 技術改進用戶體驗

    代購平台 Everuts 用 AWS 基建應付用戶增長　探索 AI 技術改進用戶體驗

    HKTV 近年開設代購平台 Everuts，連接消費者至全世界代購員。平台由 HKTV 子公司 Offbeat Technology 營運，採用 AWS 基建應付快速增長的業務。該公司下一步將利用 AI 功能加強用戶體驗，例如識別圖片協助自動化標籤分類，更容易配對代購員。

    Offbeat Technology 行政總裁吳君寳表示，Everuts 代購服務將消費者連接至全球代購員，不再被貨架限制購物選項。代購業務的門檻甚低，信用是 HKTV 核心所在，以此伸延至發展代購。登記成為代購專員只要簡單登記個人資料及身分驗證，便可開始工作。目前在 30 個國家有超過 6,000 個代購專員。

    用戶提出代購請求，上載希望購買的貨品資料、連結及圖片後，平台會自行配對，再由代購專員報價，之後的物流、付款等程序則由 Everuts 負責管理。去年，透過平台處理的商品成交金額（GMV）有 3,040 萬港元，以代購日本和南韓的產品為主，前者如品牌聯乘限時產品、潮流牌子、汽車零件、運動用品；後者較多的為美容用品及儀器。吳君寳表示，在去年底推出一系列廣告宣傳後，用戶量突然大增。

    吳君寳稱， Everuts 平台從開始運作時已使用 AWS 的無伺服器（serverless）服務，取其雲端服務有足夠彈性可應付突如其來的用戶量。之後又用 AWS 的 AI 功能提升效率和改進用戶體驗。其中用機械學習檢視用戶提出的代購請求，以符合平台的使用原則。

    他續指，由用戶提出代購請求，實際上是用戶產生內容（user generate content）在公開平台上展示給代購專員，需要遵守用戶使用原則。過去由人手逐個檢視文字和圖片，如今用上圖像識別服務 Rekognition 判斷上載的圖像是否符合內容要求，可節省部分人手用於處理其他工作。

    AWS 大中華區金融服務業解決方案架構部主管余廸遜指出，Offbeat Technology 的團隊沒有數據科學家，只用 SageMaker、開源機械學習模型，以及 AWS 的 AI 服務，達到讓企業開箱即用，亦足以建立 AI 功能支援業務需要。

    Offbeat Technology 正在試用生成式 AI 的 Bedrock 服務，利用 LLM 和基礎模型開發新功能。目前正在驗證概念的方案有用圖片搜尋圖片，方便用戶見到感興趣的產品，直接上傳圖片搜尋過往的報價，甚至可交託相關的代購專員完成訂單，促進用戶體驗。

    最新影片

  • AWS 生成式 AI 用例漸多　Amazon Q 可助升級程式碼

    AWS 生成式 AI 用例漸多　Amazon Q 可助升級程式碼

    AWS 早前在香港舉辦峰會，以生成式 AI 作主題。AWS 生成式 AI 創新中心副總監 Francessca Vasquez 指出，愈來愈多企業開始採用生成式 AI 並見成效，例如英國電訊集團（BT Group）用 Amazon Q 協助升級舊款 JAVA 程式碼，提高 12% 運算效率。

    AWS 在去年 11 月發表 AI 助理 Amazon Q，僅幾個月後的今年 5 月便正式可用。Amazon Q 鎖定企業內部使用，如分析企業數據、生成程式碼等，其中一項主要功能是升級舊程式碼，包括將 JAVA 8、JAVA 11 的程式碼升至 JAVA 17。 Vasquez 表示，舊款程式碼可能在企業系統運行多時，難以靠人手升級，但平台又不再獲支援。通過 Amazon Q 升級程式碼能準確地生成較新版本的程式碼，解決支援問題並改善運算效能。英國電訊集團是例子之一。

    Vasquez 又指出，有銀行正測試用 Amazon Q 升級大型主機（mainframe）的程式碼，加快效率遷移至雲端現代化基建。

    她舉出幾個生成式 AI 的用例，美國聯合航空（United Airlines）利用 Bedrock 的 AI 模型開發「Every Flight Has a Story」功能，當飛機有延誤便以生成式 AI 向客戶推送延誤原因和最新情況等航班資訊。這功能有助加強客戶關係，也提升公司的淨推薦值（Net Promoter Score）。

    香港富衛保險（FWD）也用 AWS 的生成式 AI 協助偵測欺詐的準確度，以及改善理賠流程。

    最新影片