標籤: AWS re:Invent

  • Amazon Q Developer 更新 Java 程式碼見效 加碼活化大型主機、.NET、VMware 程式

    Amazon Q Developer 更新 Java 程式碼見效 加碼活化大型主機、.NET、VMware 程式

    AWS 去年發表智能助理 Amazon Q,今年 4 月正式可用。Amazon Q 無論是開發人員用的 Developer 和商業用戶的 Business,在 AWS re:Invent 2024 加入多項新功能。其中 Developer 加入現代化舊有系統程式碼,包括大型主機、.NET 程式轉至 Linux 和 VMware 工作負載。

    AWS 行政總裁 Matt Garman 表示,去年推出 Amazon Q Developer 其中的更新 Java 程式功能,將遠古版本的程式碼更新至 Java 17 成效顯著。亞馬遜過去一年在內部使用,已更新逾 1 萬個程式,開發人員藉此省下 4,500 年的工時,每年節省營運開支 2.6 億美元。

    Amazon Q Developer 追加更多活化古舊程式碼,可以在現代化的雲端基建上運行,吸引更多企業遷移上雲端。例如新增將 .NET 程式從 Windows 遷移至 Linux 運行。雖然微軟近年聲稱支援 Linux,不過只限新版本 .NET,古舊的程式仍無法脫離,導致安全問題、不斷修補(patching)、難以擴充,以至營運成本與日俱增。Amazon Q Developer 可以加速 .NET 程式遷至 Linux,改善安全和執行效果,節省成本最多 40%。

    Amazon Q Developer 更新 VMware 工作負載遷移至雲端原生架構,能夠自動規劃,也疏理各程式之間的關係、更改網絡設定。Matt Garman 稱,有助減低開支,尤其整合後以可削減訂購授權

    另一重要新增功能是活化大型主機,將 IBM z/OS 系統的程式活化,包括自動分析、規劃和重建程式碼,以至為程式碼生成說明文件,給開發人員日後跟進可有依據。

    代開發人員生成測試、文件

    Amazon Q Developer 還新增多個為開發人員減省工作的功能:

    • 生成和執行單元測試,協助初步檢視品質
    • 生成開發文件,代勞編撰工作,專注編寫程式碼
    • 檢視程式碼品質,如從整體識別安全漏洞

    Amazon Q Developer 又為營運團隊調查 CloudWatch 的警報。CloudWatch 收集 AWS 基建出現異常情況,Amazon Q Developer 代為從各服務收集數據,分析之間的關係,了解異常訊號的來源,整理後向開發人員匯報,提供可行的解決建議。甚至部分問題有預設的操作手冊,徵求開發人員同意可自動執行去解決。這功能省去大量疑難排解工作,幫勵直接找出問題所在。

    Amazon Q 由多個 LLM 推動

    AWS 生成式 AI 及 Amazon Q 總監 David Pessis 指出,Amazon Q 前身是 CodeWhisperer,協助開發人員編寫程式和檢查安全程式碼的漏洞。如今結合大型語言模型,進一步擴充功能,甚至發展出商業用的 Amazon Q Business,給前線和管理層用自然語言查問和分析業務數據。

    不過 David Pessis 卻未有披露服務所用的 LLM,只表示用上多個語言模型驅動,取用各模型的長處提供智能助理服務,而且隨著技術進步或會更改模型。新發表的 Nova 模型肯定會加入其中。實際上,用戶大多只關注 Amazon Q 能否完成所指示的任務,毋須理解掌握背後所涉及的 LLM。

    他表示,Amazon Q Business 今年 4 月才正式可用,各行業都有案例當上員工的 AI 助理,尤其掌握敏感數據行業,如金融、政府、醫療機構。強調不會使用企業的數據去訓練 AI 模型。

    Amazon Q Business 冀成業務 AI 助理

    今年 Amazon Q Business 重大更新是整合商業智能(BI)服務 QuickSight,令本身用於分析非結構數據,如今新加入結構數據。將兩者結合查詢,能夠作深度分析。David Pessis 舉例,銷售團隊過往經 QuickSight 可查問當前的銷售成績,而在 Amazon Q Business 能進一步問達到銷售目標幾多,AI 代理便會翻查文件或電郵,找出當季或年內的銷售目標,跟銷售成績作比較,便知道團隊的情況。

    平台又開放 Amazon Q Business index 予第三方開發商接入,能同時查詢其他數據,如 Asana、Miro、PagerDuty、Zoom 等已支援。David Pessis 稱,用戶毋須上傳數據至其他軟件,亦可跨平台整合數據,加強分析內容。

    Amazon Q Business 的自動化功能支援複雜工作流程,減省前線員工的程序。例如人力資源部為新員工上任,如今 Amazon Q Business 可代為處理,包括設定系統帳戶、安排辦公位置、員工卡等。

    David Pessis 還透露 Amazon Q Business 的發展方向廣闊,將會擴展處理更多數據,在單一平台上完成分析,成為商業用戶的業務助理。實際上,不論 Amazon Q Developer 或 Amazon Q Business 推出僅半年,仍屬非常初步階段,尚有倘大的發展空間,例如將會擴展支援語言,包括亞洲地區的日文、韓文,以至中文。

    AWS re:Invent 2024 相關報道

    最新影片

  • AWS 發表基礎模型 Nova 表現超越 Gemini、Llama,成本慳 75%

    AWS 發表基礎模型 Nova 表現超越 Gemini、Llama,成本慳 75%

    AWS re:Invent 2024 繼續發布大量生成式 AI 產品,另一主要發布是基礎模型 Nova。Amazon Nova 模型設有 6 個版本:Micro、Lite、Pro、Premier、Canvas 和 Reels,強調評分表現高過 Google Cloud 的 Gemini 和 Meta 的 Llama,生成回應速度快,而且較其他大型語言模型節省最多 75% 成本。

    已升任亞馬遜行政總裁的 Andy Jassy 回歸 re:Invent 舞台發表 Nova 模型。他表示,亞馬遜是 AWS 最大客戶,當初建立 AI 技術並非只為扮有型,而是要解決實際業務問題才決定開發更多基礎模型,將生成式 AI 融入各項業務,提升日常運作效率。

    以客戶服務為例,加入對話機械人接待客戶。客戶最常查詢的是追蹤包裹,只要輸入「追蹤」,透過 LLM 能理解所指的包裹,尋找相關資訊回覆。又例如協助逾 50 萬賣家產生詳細的產品網頁,僅用幾句簡單文字和圖片便可生成內容豐客的產品資訊,吸引客戶購買。所建立的模型過去幾個月在內部使用已見成效,開放給 AWS 客戶使用可能同樣有業務價值。

    Nova 處理文字強調低時延

    Nova 模型有多個版本:

    • Nova Micro 處理文字模型,賣點低時延和低成本。
    • Nova Lite 低成本多種模態模型,可處理文字、影像和影片。
    • Nova Pro 支援多種模態,同時有準確度、速度和成本優勢。
    • Nova Premier 處理複雜推理任務,能夠指導精練自訂模型。
    • Nova Canvas 生成圖像。
    • Nova Reel 生成影像。

    Nova 支援超過 200 種語言,Micro 版本的上文下理範圍有 12.8 萬字詞元(Token),Lite 版本和 Pro 版本為 30 萬,能分析 30 分鐘影片內容。明年首推出的 Premier 版本支援超過 200 萬詞元。

    雖然 Andy Jassy 未有公布各版本的參數,不過將處理文字的 Micro 版本與 Meta 的 LLaMa 3.1 8B 和 Google Gemini 1.5 Flash-8B 作比較,11 基準測試均表現更佳或平分秋色。Micro 版本支援每秒輸出 210 個詞元,速度較其他小型模型更快,適用於即時回應的環境。

    Lite 版本與 OpenAI 的 GPT-4o mini 和 Anthropic 的 Claude 3.5 Haiku 比較,大部分基準測試均持平或更佳。理解圖片和影片、代理智能工作流程的基準測試獲認證。

    Pro 版本與 GPT-4o 及 Gemini 1.5 Pro 的比現亦大部分持平或更佳,僅落後於 Claude Sonnet 3.5v2 比較的基準測試。Pro 版本通過綜合 RAG 基準測試(Comprehensive RAG Benchmark)、Berkeley Function Calling Leaderboard 和 Mind2Web 的認證,可用於遵循指令和多模態智能工作流程。

    Canvas 版本用文字提示產生圖像,甚至作修改。Reel 用文字或參考圖像生成影片,目前可生成 6 秒影片,支援平移、360 度旋轉和縮放等影片調整,稍後將加長至生成 2 分鐘影片。

    Nova Reels 生成的示範影片。

    明年推出 any-to-any 模型

    Andy Jassy 又預告,明年將推出語音到語音(speech-to-speech)模型,支援即時翻譯和非語言訊號(如語調和節奏),提供低時延和接近真人的對話模式,預計可改變對話式 AI 技術。另外,明年中推出任意到任意(any-to-any)模型,可以輸入文字、圖像、音樂或影片,輸出任何多媒體內容。

    企業和開發人員經 Bedrock 存取 Nova 模型,用企業數據和 RAG 方法自訂調整。Andy Jassy 表示,亞馬遜再度推出基礎模型,連同 Claude、Stable Diffusion、Llama、Mistral AI 等模型,目的讓客戶有更多選擇,取用合適的模型完成任務,跟 EC2 提供自訂 Arm 處理器和訓練晶片,又有業界的處理器和 GPU 同出一徹。

    低成本、低時延和高準確度

    AWS 副總裁、機械學習及 AI 總經理 Vasi Philomin 補充,Nova 模型可視為下一代 Titan 模型,不過 Titan 模型實為文字嵌入式,配合 RAG 使用。除了自行研發,還在 Bedrock 上給客戶提供眾多模型,有更多選擇,而且不會有單一模型適用所有環境。

    Vasi Philomin 又稱,開發 Nova 模型另一考慮是針對使用情況,企業需要低成本、低時延和高準確度,模型設不同版本為達到此彈性。Micro 可用於最常見的處理文字,低成本和快速回應,足以應付大部分用途。目前按 BedRock 上的用戶數據反映,大部分都選用起碼兩個模型。

    然而,Nova 模型不公布各版本的參數資料,Vasi Philomin 認為,企業客戶按各版本的智能級別、上文下理範圍的詞元選擇模型已足夠,實際上模型的參數可能隨著新版本而增加,單憑參數難作準確比較。

    Vasi Philomin 指出,明年推出的語音到語音模型和任意到任意模型將進一步擴展 AI 的用途,前者可做實時翻譯,打破現實環境的語言障礙;後者不限來源,在單一模型能夠執行多種任務。

    AWS re:Invent 2024 相關報道

    AWS re:Invent 2024 還有其他新發布,包括新一代基礎模型 Amazon Nova!未能親身前往美國的你,歡迎參加 12 月 19 日香港站 AWS re:invent recap,同樣有最焦點、最重要、最新鮮的內容在場分享,你可以用最短時間掌握最新的 AWS 技術,不要錯過!

    登記網址:https://ow.ly/9QXk50Uo4fU

    最新影片

  • AWS 全攻生成式 AI 超強 Trainium2 訓練晶片蘋果公司都用

    AWS 全攻生成式 AI 超強 Trainium2 訓練晶片蘋果公司都用

    AWS 在美國拉斯維加斯舉行大會 re:Invent 2024,今年繼續全攻生成式 AI,發表大量產品和服務。當中的重點產品是採用訓練晶片 Trainium2 的 Trn2 執行個體正式可用(GA),蘋果公司的 Apple Intelligence 模型亦經由這晶片訓練。AWS 還發表 Trn2 UltraServer,提供逾 83FLOPS 運算效能,強勁可比超級電腦。

    AWS 新上任的行政總裁 Matt Garman 首次主持 re:Invent 大會,內容主攻生成式 AI,先由基建運算說起。AWS 去年發表內部研發訓晶片 Trainium2,今年正式可用並推出強調成本效益的 Trn2 執行個體。每個 Trn2 執行個體由 16 枚 Trainium2 支援,運算效能最高 20.8PFLOPS。Trn2 執行個體的成本,較其他 GPU 訓練模型的執行個體低 30% 至 40%。

    蘋果公司試用 Trn2 效能升級

    Trn2 執行個體在正式可用之前已有多間企業試用,包括蘋果公司的 Apple Intelligence 在內。蘋果公司機械學習及 AI 高級總監 Benoit Dupin 在主題演講上分享,試用 Trainium2 預先訓練推動 Apple Intelligence 模型,成效較前一代提升 50%。

    Benoit Dupin 還指出,旗下的硬件產品(如 iPhone、iPad、Apple TV)至軟件服務(如 Apple Music、Sports、News 等),背後的機械學習功能和伺服器基建均由 AWS 支援。用 Arm 處理器 Graviton 和推理晶片 Inferentia 處理這些工作負載,比 x86 執行個體的效能提升 40%。

    Benoit Dupin 是今年 re:Invent 大會的首個驚喜嘉賓,在公共雲平台競爭激烈的環境,尤其微軟和 Google Cloud 積極用 AI 服務搶佔 AWS 的市場,有蘋果公司的代表站台,等於注入強心針。Benoit Dupin 亦是前 Amazon 員工,A9 部門副總裁負責搜尋引擎和廣告。

    蘋果公司以外,還有 Adobe 的生成式 AI 模型 Firefly、開發程式 AI 創業公司 Poolside.ai、Databricks 和 Qualcomm 等試用 Trainium2。

    Trn2 UltraServer 可比超級電腦

    除了 Trn2 執行個體,Matt Garman 還發表運算效能更強大的 Trn2 UltraServer,用 NeuronLink 互連 4 個 Trn2 執行個體,合共 64 枚 Trainium2 並行運算,提供最多 83.2PFLOPS 效能。這水平相當於 TOP500 超級電腦上月公布名單第 18 位德國的 JETI。

    AWS 效用運算資深副總裁 Peter Desantis 指出,Trn2 UltraServer 總共兩個標準 42U 機櫃,6TB 記憶體,185TBps 超高頻寬記憶體。連接技術 NeuronLink 直接連接各枚 Trainium2 晶片,速度 2Tbps,時延僅 1 微秒。

    AWS 投資 40 億美元的大型語言模型創業公司 Anthropic 將使用 Trn2 UltraServer 建起超級叢集,用數以十萬計 Trainium2 晶片組成地上最強 ML 訓練環境。anthropic 聯合創辦人兼技術總監 Tom Brown 稱這超級叢集為 Project Rainier,提供多 5 倍運算效能訓練下一代模型,起碼達 1 EFLOPS 級數。最新的 Claude 3.5 Haiku 亦會在 Trainium2 晶片上運行推理,配合 Bedrock 時延優化推理服務,推理反應速度提升 60%。

    Trainium2 配合 Bedrock 時延優化推理服務,大幅縮減生成內容的回應時間。Peter Desantis 稱,以 Llama 3.1 405B 模型為例,生成回應僅用 3.9 秒,幾乎是在 Azure 運行的一半,比在 Google Cloud Vertex 上更快 10 秒之多。

    Matt Garman 又預告,將在明年發表 3 納米製程的 Trainium3 晶片,雙倍效能、多 40% 能源效益。除了自研 AI 晶片,還繼續與業界合作供應 GPU 基建,明年推出新執行個體 P6,採用 NVIDIA Blackwell 。

    AWS re:Invent 2024 相關報道

    未能親身前往美國的你,歡迎參加 12 月 19 日香港站 AWS re:invent recap,同樣有最焦點、最重要、最新鮮的內容在場分享,你可以用最短時間掌握最新的 AWS 技術,不要錯過!登記網址 👉🏻 https://ow.ly/9QXk50Uo4fU
    (參加者必須以公司電郵地址登記)

    最新影片

  • 物聯網監察可再生能源運作 AWS IoT 方案配生成式 AI 簡化架構

    物聯網監察可再生能源運作 AWS IoT 方案配生成式 AI 簡化架構

    物聯網是 AWS 多年來主力發展的項目之一,配合近期興起的可持續發展潮流,該公司在今年 re:Invent 大會展示物聯網監察可再生能源運作。 AWS 物聯網副總裁 Yasser Alsaied 表示,運用生成式 AI 檢視物聯網所收集的數據,為企業提供分析工具,直接查問數據過程,甚至協助建立 IoT 方案。

    AWS 用模型展示城市的可再生能源監察方案,包括太陽能電池板、風力發電等。由於這兩種可再生能源只能有限度供應,用物聯網技術監察有助減少外在因素影響,盡量將能源轉化為電力。

    把兩類發電機的感應器連接至 Raspberry Pi 再經閘道接上 Amazon IoT Core,以及 AWS IoT Twinmaker、Sitewise 等服務。運用無伺服器服務 Lambda 以事件主導監察,當數據反映異常,如電壓過低,即代表發電機出現問題。風力發電甚至可連接鏡頭,運用 Amazon Kinesis Video Streams 的影像分析監察扇葉運轉情況。兩者的數據經 Lambda 處理,儲存至數據庫 DynamoDB、Aurora,以及 S3,可配合 SageMaker 建立機械學習模型作分析。

    可再生能源監察方案設有儀表板,除了網頁程式之外,還有 AR 版本,利用二維條碼識別,在智能電話上顯示儀表板。

    AWS re:Invent 以生成式 AI 作主題發表多項服務,其中 Amazon Q 為 AI 助理。 Yasser Alsaied 稱,IoT 核心為數據,平台上有完整的數據管理方案,給生成式 AI 作訓練或分析,例如工廠可以收集所有生產線的營運數據交由 Amazon Q 分析,以更深入的問題得出生產產品的分析,為業務情況作好準備。

    生成式 AI 同時可幫助建立 IoT 方案,由於感應器和鏡頭涉及不同品牌,需要按型號、規格作設定連接。 Alsaied 表示,透過生成式 AI 能夠快速設定,並且生成相關的程式碼,直接建立方案。

    Alsaied 又指,AWS 近年跟多個行業合作建立 IoT 服務,如西門子,以 IP 網絡連接其控制系統,既擷取儀器的營運數據,也能傳送控制訊號。另一是汽車業,其中有車廠採用 AWS IoT Fleetwise 方案收集所有車輛的行駛數據,建立個人化服務。同時通過物聯網為車輛更新軟件,大幅節省召回升級系統軟件的成本。 AWS 今年在 IoT Fleetwise 新增支援視覺數據,將車輛行駛鏡頭的影像傳送至雲端記錄,甚至可配合煞車和油門數據作分析。

  • AWS 生成式 AI 追加基礎模型 Bedrock 增圍欄訓練負責任 AI

    AWS 生成式 AI 追加基礎模型 Bedrock 增圍欄訓練負責任 AI

    AWS 在生成式 AI 模型託管服務 Bedrock 和機械學習管理服務 SageMaker 加設多項新功能,包括擴充基礎模型 Titan 的生成文字和圖像、 RAG 自訂模型、微調模型,以至 Guardrials 圍欄功能保護生成內容等,讓企業按業務需求自訂或調整模型,生成合適的內容幫助日常營運。

    AWS 數據和機械學習全球副總裁 Swami Sivasubramanian 稱,生成式 AI 發展迅速, AWS 提供平台讓企業選擇合適的方法引入技術,從訓練模型的基建、基礎模型、調整模型的方式,甚至預備數據訓練等,協助企業用屬於自己的數據簡易地建立生成式 AI 工具。

    Bedrock 引入多個基礎模型供企業直接使用或微調至合適可用:

    • Titan Multimodal Embeddings:將圖像和短文本轉換為 embedding 數字形式表示,使模型能夠理解語義和資料之間的關係,用戶可以使用圖像和文本提示搜尋查詢。
    • Titan Image Generator:使用自然語言提示生成圖像,圖像會嵌入隱形浮水印,識別為 AI 生成檔案。
    • Anthropic Claude 2.1:支援解讀 20 萬字詞,開放式對話的錯誤陳述減少 50% ,錯誤陳述率減少一半。
    • Meta Llama 2 70B:Llama 2 的 700 億參數模型,較同系 130 億參數模型大兩倍以上,可經指令資料集和超過 100 萬條人工注釋作微調,設定合適的對話環境。

    AWS 生成式 AI 副總裁 Vasi Philomin 補充,單一基礎模型不足以應付企業各類型的需求,因此與業界合作在 Bedrock 上提供不同種類的模型,加上 Amazon Titan 模型,企業可按其情況選用合適的工具。而建立生成式 AI 應用程式的關鍵,在於企業應運用自己的數據訓練自訂模型。

    Bedrock 還設有自訂模型功能,包括微調模型和 RAG(retrieval augmented generation),讓企業使用內部數據結合基礎模型生成具公司風格、更相關的內容。微調模型使用標記資料集調整模型參數,使符合業務需求,將已掌握的知識擴展到企業使用的詞彙庫。先在 Bedrock 上複製模型,結合 S3 的標記示例,成為微調模型。

    RAG 以專用資料補充現有模型可獲得更準確的回應。 RAG 從文件儲存庫、數據庫和 API 等來源獲取資料。為加快提取文本數據, AWS 將為旗下數據庫服務加入向量引擎,包括 OpenSearch 、 Pinecone 和 Redis Enterprise Cloud ,稍後支援 Aurora 和 MongoDB 。

    AWS 關聯數據庫副總裁 Jeff Carter 稱,長遠目標為所有數據庫服務支援向量功能,任何數據都能以語意搜尋內容,為生成式 AI 提供自訂基礎。

    SageMaker 則加入多個訓練模型功能,配合 Bedrock 的微調模型和 RAG :

    • SageMaker HyperPod:透過大規模分散式訓練提供基礎設施,將訓練基礎模型的時間縮短最多 40%。
    • SageMaker Inference:使用優化加速器將基礎模型部署成本平均降低 50%,時延平均降低 20%。
    • SageMaker Clarify:根據負責任 AI 的參數快速評估和選擇基礎模型。
    • SageMaker Canvas:使用自然語言指令加速準備資料,點擊幾下可使用基礎模型。

    負責任 AI 是企業引入 AI 技術時最關心的問題。AWS AI 倫理高級實務經理 Diya Wynn​​ 指出,從近年的機械學習到現時的生成式 AI ,對負責任 AI 的要求已大有不同,前者講求私隱,後者在此之上還加上避免數據外洩、知識產權等。 AWS 所發表的負責任 AI 政策涵蓋這些範圍,尤其 Bedrock 其中之一的承諾,不會利用企業客戶的數據訓練 AI 模型。他強調:「負責任 AI 的基礎正是信任,企業方可放心地運用技術。」

    Bedrock 又新增 Guardrails 圍欄功能預覽版,給企業為生成式 AI 應用程式實施保護措施。設定圍欄時,用自然語言描述定義、不應出現的話題,以及可以配置仇恨言論、侮辱、性語言和暴力的門檻值,過濾有害內容至企業可接受的水平。 Guardrails 圍欄功能明年將會升級,客戶於 2024 年初可以編輯模型回應中的個人身分資訊( PII )、設置髒話篩檢程式,並提供自訂單字清單來阻止用戶和模型之間的互動。Guardrails 還可自動評估用戶查詢和模型回應,防止出現屬於受限類別的內容。

    AWS 在 re:Invent 展覽區示範多個生成式 AI 項目,包括 PartyRock 和飛行器檢驗環境。PartyRock 為生成式 AI 的試玩工具,用生成技術建立程式。用戶輸入程式用途,如建議晚餐食譜,系統便會自動生成介面,可以輸入食材、菜式、烹調時間的關鍵字隨即產生食譜。這項目讓一般用戶都能試用生成式 AI 的能力。

    飛行器檢驗環境為現時大行其道的方案,不過需要專門技能控制飛行器。 AWS 利用生成式 AI 和邊緣運算技術,讓不懂控制飛行器的檢驗人員通過文字指令,著飛行器飛到指定位置。配合傳統機械學習的電腦視覺模型檢驗。

    最新影片

  • AWS 展示量子運算晶片 被動糾錯方法令錯誤率勁減 100 倍

    AWS 展示量子運算晶片 被動糾錯方法令錯誤率勁減 100 倍

    AWS 今年推出多個自研晶片,除了 Arm 伺服器的 Graviton 4 、 AI 訓練 Trainium 2 ,還展示首款量子晶片。該公司公用運算業務高級副總裁 Peter DeSantis 指出,這款晶片一改現時的糾錯方法,有效將錯誤率減低 100 倍,預計在這十年內以幾何級數加快發展量子位元。

    AWS 在 2019 推出的量子運算服務 Braket 主要跟量子電腦創業公司合作,為企業客戶連接硬件平台,並提供演算法管理功能。該公司如今發表專為糾錯而設的量子晶片,有助發展量子運算。

    量子運算在過去 15 年來已降低錯誤率,從 10% 減至 0.1% ,但仍然未足夠使用。 DeSantis 表示,需要數十億次運算仍未出現錯誤才實際可用,起碼有望破解 RSA 加密的秀爾演算法(Shor’s algorithm)方可實現。

    為了解決量子位元的雜訊,研究人員提出不同量子糾錯技術,例如將實際量子位元轉化成邏輯量子位元,但量子糾錯效率仍低。 AWS 量子運算團隊開發的晶片,令糾錯方法變成被動,透過將位元翻轉( Bit-flip )與相位翻轉( Phase-flip )分開,將量子位元翻轉錯誤減少 100 倍,硬件過熱也預期減少 6 倍,大幅提高量子糾錯的效率。

    DeSantis 稱,該晶片為量子糾錯帶來重大進展。但他強調仍在非常早期的發展階段。

    最新影片

  • 國泰用 AWS 平台建 ML 、生成式 AI 改進客戶服務體驗

    國泰用 AWS 平台建 ML 、生成式 AI 改進客戶服務體驗

    國泰航空選擇 AWS 為策略雲端服務供應商,並合作成立「國泰機械學習創新中心」,用雲端技術和技能推動創新。現時已部署逾 50 個機械學習模型,幫助改善營運和客戶服務體驗。國泰甚至試用生成式 AI 處理客戶服務訊息。

    國泰數碼及資訊科技董事方逸翔表示,國泰近年遷移傳統工作負載至 AWS ,現時已完成逾 50% ,IT 基建成本減省 40%。之後會以雲端能力按需求擴充系統承載能力,向旅客提供預訂和旅行體驗。此外,機械學習平台 SageMaker 在 2018 年發表不久便已引入使用,更成立了「國泰機械學習創新中心」,將推動業務採用更多 AI 改善體驗。

    方逸翔又指,IT 團隊去年 5 月獲 AWS 邀請到美國西雅圖總部參與生成式 AI 的工作坊,其後聯手開發幾個方案,如將客戶的評論自動分類,通過基礎模型了解內容並區分成 100 個類別,以自動方式傳送至相關部門跟進,甚至草擬初步回覆內容,快速回應客戶。

    另外,為改善貨運浮動定價,用生成式 AI 收集市場資訊、網上和社交平台的討論等,以便預測貨運需求,建立收益管理模型,增加利潤和提升客戶忠誠度。 AWS 的生成式 AI 託管服務 Bedrock 可選用多個大型語言模型(LLM),方逸翔認為這些案例有採用標準模型,亦有用 LLM 微調,實際上視乎用途而定,不過肯定不是單一模型可應付所有用途。

    現時所使用的逾 50 個機械學習模型,其中包括能準確預算機上餐點需求、減少廚餘量的模型,以及實時預測機艙可用空間的模型。

    AWS 旅遊及酒店業全球主管 Massimo Morin 表示,航空業數碼轉型在過去幾年未有停下,以國泰為例,一直開發機械學習模型改善業務營運和客戶服務。預計亞洲市場將在明年全面復蘇,運用技術優勢爭取更多生意機會。

    國泰內部亦推動數碼文化創新、靈活創新。方逸翔稱,用雲端平台和生成式 AI 以最小可行產品(MVP)的低風險和快速作為概念驗證,失敗亦從中學習,甚至與部門分享以免重複。

    AWS 香港暨台灣總經理王定愷則指出,這概念跟 AWS 內部相似,靈活嘗試各類創新,用雲端技術以最低成本和最快速度做試驗,即使失敗亦有回頭路,有助推動內部創新文化。

    最新影片

  • AWS 加推大量生成式 AI 服務 夥 NVIDIA 雲端建超級電腦

    AWS 加推大量生成式 AI 服務 夥 NVIDIA 雲端建超級電腦

    公共雲平台的戰場轉至生成式 AI, AWS 在美國拉斯維加斯的年度大會 re:Invent 發表一連串生成式 AI 服務,其中有夥拍 NVIDIA 以 GH200 超級晶片建立超大規模叢集執行個體和具 65EFLOPS 運算效能的 AI 超級電腦。同時發表類似 ChatGPT 或 Copilot 的智能助理 Amazon Q ,用自然語言協助日常辦公。

    Adam Selipsky 在今年 re:Invent 大會發表多項生成式 AI 服務和基建。

    AWS 用企業的數據建立生成式 AI 服務。該公司行政總裁 Adam Selipsky 表示,企業的數據是其優勢,生成式 AI 用企業數據進一步發揮價值。企業引入生成式 AI 有不同選擇,可能自行訓練 LLM 和開發工具,或調校現成模型直接使用。 AWS 的策略是為企業提供更多大型語言模型,按需求選用。 Selipsky 特別強調:「雲端平台只提供單一語言模型並不足夠,甚至可能引起危機。在過去的十多日業界應該清楚了解情況。」

    AWS 的生成式 AI 堆疊( Gen AI Stack )分成三部分。首先在基建方面,該公司與 NVIDIA 有多項合作,為首個提供 GH200 超級晶片、 DGX Cloud 方案的雲端服務商。 雙方合作提供 NVIDIA GH200 NVL32 多節點平台的執行個體,平台採用 NVLink 與 NVSwitch 技術連結 32 個 GH200 超級晶片。配合 AWS 的 Nitro 、 EFA 、 UltraClusters 等連線技術,可擴展至配備數千 GH200 超級晶片的規模。 DGX Cloud 方案為 AI 訓練即服務,用於訓練具備 1 兆參數的大型語言模型。

    NVIDIA 創辦人及行政總裁黃仁勳稱,企業藉此以高效能基建訓練模型,而下一步將共同建立 Project Ceiba ,以 GPU 驅動的 AI 超級電腦。預計該超級電腦具備 65EFLOPS 運算能力,用上 16,384 顆 GH200 超級晶片,由 NVL32 與 EFA 連線技術支援。 AWS EC2 將加設 NVIIDA 新款 GPU 的執行個體,包括配置 H200 的 P5e 、 L4 和 L40S 的 G6 及 G6e ,可用於高效能工作負載、調校 LLM 、推論等。

    AWS 亦發表自行研發的 Trainium 2 ,較三年前推出的 Trainium 快 4 倍,專為訓練上兆參數的基礎模型而設。 Selipsky 稱, Trainium 2 適用於講求成本效益的企業,通過 AWS 連線技術可建立 65EFLOPS 運算效能的超級電腦執行個體。

    AWS 在上述基礎上設有基礎模型託管服務 Bedrock,原有的 6 個模型以外還加入 OpenAI 的對手 Anthropic 。後者為 OpenAI 前員工所創立,今年 9 月獲 AWS 及 Google Cloud 分別注資 40 億美元和 15 億美元。 Anthropic 創辦人 Dario Amodei 稱,旗下的大型語言模型 Claude 由 AWS 基建訓練,同時為 Bedrock 用戶提供新選擇。 Claude 2.1 一次可解讀 20 萬字詞,約是超長篇書本,較前一代倍增長度。

    生成式 AI 堆疊的應用方面,有今年的重點新發布 —— Amazon Q 。這服務利用企業的數據訓練而生成相關的內容,協助員工日常工作。 Selipsky 表示, Amazon Q 用 AWS 過去 17 年的知識來訓練,支援 IT 人員和企業員工,例如協助升級程式碼,將舊版本的 Java 程式碼升級, 1,000 個程式僅用兩日完成。 IT 人員可將基建要求輸入 Amazon Q ,獲得建議使用合適的 AWS 服務和執行個體。

    Amazon Q 可連接逾 40 個軟件,包括: Dropbox 、 Google Drive 、 Microsoft 365 等,分析內裡的數據,回答用戶的業務提問,提供度身訂造的對話、生成內容。過程設有身分驗證,按職能權限存取數據。該公司旗下的 BI 服務 QuickSight 、客戶服務中心 Connect 都會加入 Amazon Q ,注入 AI 功能。

    最新影片

  • 【AWS re:Invent 22】自助零售 Just Walk Out 結合掌紋識別

    【AWS re:Invent 22】自助零售 Just Walk Out 結合掌紋識別

    亞馬遜旗下開設的自助零售商店,早年已將技術包裝成 Just Walk Out 服務,讓其他零售商都可用。AWS 在今年 re:Invent 將此服務結合 Amazon One 掌紋識別付款,用戶用手掌識別身分進入自助商店如常購物取貨後即可離開。AWS 全球零售及消費者產品進入市場主管 Justin Honaman 指出,一切在乎用戶體驗。

    AWS 行政總裁 Adam Selipsky 在主題演講上發表結合 Just Walk Out 及 Amazon One 掌紋識別付款的服務,方便消費者毋須排隊付款結帳,從貨架拿起需要的貨品便離開,視為重新定義零售科技的技術。

    Honaman 補充,兩者皆以用戶體驗為主, Amazon One 更進一步提升體驗,用手掌靜脈識別取代流動程式的二維條碼進入商店。美國食品雜貨商 Community Groceries 日前在密蘇里州堪薩斯城市中心開設新店,成為首個亞馬遜以外使用此結合服務的商店。另外,愈來愈多歐美零售商採用 Just Walk Out,如英國超市集團 Sainsbury’s。他又稱,大型商戶毋須全店採用這服務,可以畫出部分空間試行。

    AWS 還新發表 Supply Chain 服務幫助零售商改善物流環境。Honaman 稱,這服務將亞馬遜內部的技術開放予企業,應付近年供應鏈不穩定的情況。這服務連接企業的 ERP 、供應鏈系統,預測產品需求和供應情況,盡量避免缺貨。同時,不少大型企業採用幾個不同品牌的管理系統,Supply Chain 服務能在跨越平台,在上層建立數據架構,分析供應鏈情況。

    AWS 香港解決方案架構部主管余迪遜補充,Supply chain 服務運用亞馬遜多年的電子商務經驗,協助零售、物流倉企業改善透視供應鏈,更快做出商業決策,降低缺貨風險和節省成本。

  • 【AWS re:Invent 22】金融業著重管理數據提供個人化服務

    【AWS re:Invent 22】金融業著重管理數據提供個人化服務

    金融業是 AWS 近年著力拓展的行業。今年 re:Invent 新發表多項與管理數據相關的服務,亦是金融業所需要的方案。AWS 金融服務市場發展主管 John Kain 指出,金融業需要運用數據向客戶提供個人化服務。

    John Kain 表示,金融業受到法例規管,但同時處理大量數據。業界最新趨勢是運用數據分析再向客戶提供個人化服務,如自動化流程、開戶、信貸審批等。背後涉及不同數據來源,可能跨部門或來自第三方。「服務愈個人化愈代表需要更多數據支援,今年新發表的 DataZone、零 ETL 目標等正有助安全地整合數據,加快數據分析效率。」

    AWS 還發表 Security Lake 服務,類似 SIEM 的方案,自動將安全數據從雲端和本地來源整合至數據湖泊,所支援的來源有 AWS Route 53、S3、Lambda、Security Hub、Health Dashboard 等,同時可透過 OCSF (Open Cybersecurity Schema Framework) 匯入合作夥伴的數據,如思科、Palo Alto Networks、VMware 等。

    AWS 香港解決方案架構部主管余迪遜補充,金融機構大多設有安全團隊,可受惠 Security Lake 服務,幫助整合、管理和數據安全日誌。安全團隊還可利用熟悉的工具,如 Datadog、IBM 及 Splunk 等作分析。

    金融業轉用雲端服務成行業趨勢,John Kain 稱過去幾年由創業公司擴展成傳統金融企業。如 BNPL 服務商 Klarna 運用 AWS 平台自動化處理客戶數據,而納斯達克 (Nasdaq) 的期權及期貨系統今年已遷移至 AWS 上運作。