PCM

標籤: Amazon Bedrock

  • AWS 全攻生成式 AI　超強 Trainium2 訓練晶片蘋果公司都用

    AWS 全攻生成式 AI　超強 Trainium2 訓練晶片蘋果公司都用

    AWS 在美國拉斯維加斯舉行大會 re:Invent 2024，今年繼續全攻生成式 AI，發表大量產品和服務。當中的重點產品是採用訓練晶片 Trainium2 的 Trn2 執行個體正式可用（GA），蘋果公司的 Apple Intelligence 模型亦經由這晶片訓練。AWS 還發表 Trn2 UltraServer，提供逾 83FLOPS 運算效能，強勁可比超級電腦。

    AWS 新上任的行政總裁 Matt Garman 首次主持 re:Invent 大會，內容主攻生成式 AI，先由基建運算說起。AWS 去年發表內部研發訓晶片 Trainium2，今年正式可用並推出強調成本效益的 Trn2 執行個體。每個 Trn2 執行個體由 16 枚 Trainium2 支援，運算效能最高 20.8PFLOPS。Trn2 執行個體的成本，較其他 GPU 訓練模型的執行個體低 30% 至 40%。

    蘋果公司試用 Trn2 效能升級

    Trn2 執行個體在正式可用之前已有多間企業試用，包括蘋果公司的 Apple Intelligence 在內。蘋果公司機械學習及 AI 高級總監 Benoit Dupin 在主題演講上分享，試用 Trainium2 預先訓練推動 Apple Intelligence 模型，成效較前一代提升 50%。

    Benoit Dupin 還指出，旗下的硬件產品（如 iPhone、iPad、Apple TV）至軟件服務（如 Apple Music、Sports、News 等），背後的機械學習功能和伺服器基建均由 AWS 支援。用 Arm 處理器 Graviton 和推理晶片 Inferentia 處理這些工作負載，比 x86 執行個體的效能提升 40%。

    Benoit Dupin 是今年 re:Invent 大會的首個驚喜嘉賓，在公共雲平台競爭激烈的環境，尤其微軟和 Google Cloud 積極用 AI 服務搶佔 AWS 的市場，有蘋果公司的代表站台，等於注入強心針。Benoit Dupin 亦是前 Amazon 員工，A9 部門副總裁負責搜尋引擎和廣告。

    蘋果公司以外，還有 Adobe 的生成式 AI 模型 Firefly、開發程式 AI 創業公司 Poolside.ai、Databricks 和 Qualcomm 等試用 Trainium2。

    Trn2 UltraServer 可比超級電腦

    除了 Trn2 執行個體，Matt Garman 還發表運算效能更強大的 Trn2 UltraServer，用 NeuronLink 互連 4 個 Trn2 執行個體，合共 64 枚 Trainium2 並行運算，提供最多 83.2PFLOPS 效能。這水平相當於 TOP500 超級電腦上月公布名單第 18 位德國的 JETI。

    AWS 效用運算資深副總裁 Peter Desantis 指出，Trn2 UltraServer 總共兩個標準 42U 機櫃，6TB 記憶體，185TBps 超高頻寬記憶體。連接技術 NeuronLink 直接連接各枚 Trainium2 晶片，速度 2Tbps，時延僅 1 微秒。

    AWS 投資 40 億美元的大型語言模型創業公司 Anthropic 將使用 Trn2 UltraServer 建起超級叢集，用數以十萬計 Trainium2 晶片組成地上最強 ML 訓練環境。anthropic 聯合創辦人兼技術總監 Tom Brown 稱這超級叢集為 Project Rainier，提供多 5 倍運算效能訓練下一代模型，起碼達 1 EFLOPS 級數。最新的 Claude 3.5 Haiku 亦會在 Trainium2 晶片上運行推理，配合 Bedrock 時延優化推理服務，推理反應速度提升 60%。

    Trainium2 配合 Bedrock 時延優化推理服務，大幅縮減生成內容的回應時間。Peter Desantis 稱，以 Llama 3.1 405B 模型為例，生成回應僅用 3.9 秒，幾乎是在 Azure 運行的一半，比在 Google Cloud Vertex 上更快 10 秒之多。

    Matt Garman 又預告，將在明年發表 3 納米製程的 Trainium3 晶片，雙倍效能、多 40% 能源效益。除了自研 AI 晶片，還繼續與業界合作供應 GPU 基建，明年推出新執行個體 P6，採用 NVIDIA Blackwell 。

    AWS re:Invent 2024 相關報道

    未能親身前往美國的你，歡迎參加 12 月 19 日香港站 AWS re:invent recap，同樣有最焦點、最重要、最新鮮的內容在場分享，你可以用最短時間掌握最新的 AWS 技術，不要錯過！登記網址 👉🏻 https://ow.ly/9QXk50Uo4fU
    （參加者必須以公司電郵地址登記）

    最新影片

  • 代購平台 Everuts 用 AWS 基建應付用戶增長　探索 AI 技術改進用戶體驗

    代購平台 Everuts 用 AWS 基建應付用戶增長　探索 AI 技術改進用戶體驗

    HKTV 近年開設代購平台 Everuts，連接消費者至全世界代購員。平台由 HKTV 子公司 Offbeat Technology 營運，採用 AWS 基建應付快速增長的業務。該公司下一步將利用 AI 功能加強用戶體驗，例如識別圖片協助自動化標籤分類，更容易配對代購員。

    Offbeat Technology 行政總裁吳君寳表示，Everuts 代購服務將消費者連接至全球代購員，不再被貨架限制購物選項。代購業務的門檻甚低，信用是 HKTV 核心所在，以此伸延至發展代購。登記成為代購專員只要簡單登記個人資料及身分驗證，便可開始工作。目前在 30 個國家有超過 6,000 個代購專員。

    用戶提出代購請求，上載希望購買的貨品資料、連結及圖片後，平台會自行配對，再由代購專員報價，之後的物流、付款等程序則由 Everuts 負責管理。去年，透過平台處理的商品成交金額（GMV）有 3,040 萬港元，以代購日本和南韓的產品為主，前者如品牌聯乘限時產品、潮流牌子、汽車零件、運動用品；後者較多的為美容用品及儀器。吳君寳表示，在去年底推出一系列廣告宣傳後，用戶量突然大增。

    吳君寳稱， Everuts 平台從開始運作時已使用 AWS 的無伺服器（serverless）服務，取其雲端服務有足夠彈性可應付突如其來的用戶量。之後又用 AWS 的 AI 功能提升效率和改進用戶體驗。其中用機械學習檢視用戶提出的代購請求，以符合平台的使用原則。

    他續指，由用戶提出代購請求，實際上是用戶產生內容（user generate content）在公開平台上展示給代購專員，需要遵守用戶使用原則。過去由人手逐個檢視文字和圖片，如今用上圖像識別服務 Rekognition 判斷上載的圖像是否符合內容要求，可節省部分人手用於處理其他工作。

    AWS 大中華區金融服務業解決方案架構部主管余廸遜指出，Offbeat Technology 的團隊沒有數據科學家，只用 SageMaker、開源機械學習模型，以及 AWS 的 AI 服務，達到讓企業開箱即用，亦足以建立 AI 功能支援業務需要。

    Offbeat Technology 正在試用生成式 AI 的 Bedrock 服務，利用 LLM 和基礎模型開發新功能。目前正在驗證概念的方案有用圖片搜尋圖片，方便用戶見到感興趣的產品，直接上傳圖片搜尋過往的報價，甚至可交託相關的代購專員完成訂單，促進用戶體驗。

    最新影片

  • AWS 生成式 AI 追加基礎模型　Bedrock 增圍欄訓練負責任 AI

    AWS 生成式 AI 追加基礎模型　Bedrock 增圍欄訓練負責任 AI

    AWS 在生成式 AI 模型託管服務 Bedrock 和機械學習管理服務 SageMaker 加設多項新功能，包括擴充基礎模型 Titan 的生成文字和圖像、 RAG 自訂模型、微調模型，以至 Guardrials 圍欄功能保護生成內容等，讓企業按業務需求自訂或調整模型，生成合適的內容幫助日常營運。

    AWS 數據和機械學習全球副總裁 Swami Sivasubramanian 稱，生成式 AI 發展迅速， AWS 提供平台讓企業選擇合適的方法引入技術，從訓練模型的基建、基礎模型、調整模型的方式，甚至預備數據訓練等，協助企業用屬於自己的數據簡易地建立生成式 AI 工具。

    Bedrock 引入多個基礎模型供企業直接使用或微調至合適可用：

    • Titan Multimodal Embeddings：將圖像和短文本轉換為 embedding 數字形式表示，使模型能夠理解語義和資料之間的關係，用戶可以使用圖像和文本提示搜尋查詢。
    • Titan Image Generator：使用自然語言提示生成圖像，圖像會嵌入隱形浮水印，識別為 AI 生成檔案。
    • Anthropic Claude 2.1：支援解讀 20 萬字詞，開放式對話的錯誤陳述減少 50% ，錯誤陳述率減少一半。
    • Meta Llama 2 70B：Llama 2 的 700 億參數模型，較同系 130 億參數模型大兩倍以上，可經指令資料集和超過 100 萬條人工注釋作微調，設定合適的對話環境。

    AWS 生成式 AI 副總裁 Vasi Philomin 補充，單一基礎模型不足以應付企業各類型的需求，因此與業界合作在 Bedrock 上提供不同種類的模型，加上 Amazon Titan 模型，企業可按其情況選用合適的工具。而建立生成式 AI 應用程式的關鍵，在於企業應運用自己的數據訓練自訂模型。

    Bedrock 還設有自訂模型功能，包括微調模型和 RAG（retrieval augmented generation），讓企業使用內部數據結合基礎模型生成具公司風格、更相關的內容。微調模型使用標記資料集調整模型參數，使符合業務需求，將已掌握的知識擴展到企業使用的詞彙庫。先在 Bedrock 上複製模型，結合 S3 的標記示例，成為微調模型。

    RAG 以專用資料補充現有模型可獲得更準確的回應。 RAG 從文件儲存庫、數據庫和 API 等來源獲取資料。為加快提取文本數據， AWS 將為旗下數據庫服務加入向量引擎，包括 OpenSearch 、 Pinecone 和 Redis Enterprise Cloud ，稍後支援 Aurora 和 MongoDB 。

    AWS 關聯數據庫副總裁 Jeff Carter 稱，長遠目標為所有數據庫服務支援向量功能，任何數據都能以語意搜尋內容，為生成式 AI 提供自訂基礎。

    SageMaker 則加入多個訓練模型功能，配合 Bedrock 的微調模型和 RAG ：

    • SageMaker HyperPod：透過大規模分散式訓練提供基礎設施，將訓練基礎模型的時間縮短最多 40%。
    • SageMaker Inference：使用優化加速器將基礎模型部署成本平均降低 50%，時延平均降低 20%。
    • SageMaker Clarify：根據負責任 AI 的參數快速評估和選擇基礎模型。
    • SageMaker Canvas：使用自然語言指令加速準備資料，點擊幾下可使用基礎模型。

    負責任 AI 是企業引入 AI 技術時最關心的問題。AWS AI 倫理高級實務經理 Diya Wynn​​ 指出，從近年的機械學習到現時的生成式 AI ，對負責任 AI 的要求已大有不同，前者講求私隱，後者在此之上還加上避免數據外洩、知識產權等。 AWS 所發表的負責任 AI 政策涵蓋這些範圍，尤其 Bedrock 其中之一的承諾，不會利用企業客戶的數據訓練 AI 模型。他強調：「負責任 AI 的基礎正是信任，企業方可放心地運用技術。」

    Bedrock 又新增 Guardrails 圍欄功能預覽版，給企業為生成式 AI 應用程式實施保護措施。設定圍欄時，用自然語言描述定義、不應出現的話題，以及可以配置仇恨言論、侮辱、性語言和暴力的門檻值，過濾有害內容至企業可接受的水平。 Guardrails 圍欄功能明年將會升級，客戶於 2024 年初可以編輯模型回應中的個人身分資訊（ PII ）、設置髒話篩檢程式，並提供自訂單字清單來阻止用戶和模型之間的互動。Guardrails 還可自動評估用戶查詢和模型回應，防止出現屬於受限類別的內容。

    AWS 在 re:Invent 展覽區示範多個生成式 AI 項目，包括 PartyRock 和飛行器檢驗環境。PartyRock 為生成式 AI 的試玩工具，用生成技術建立程式。用戶輸入程式用途，如建議晚餐食譜，系統便會自動生成介面，可以輸入食材、菜式、烹調時間的關鍵字隨即產生食譜。這項目讓一般用戶都能試用生成式 AI 的能力。

    飛行器檢驗環境為現時大行其道的方案，不過需要專門技能控制飛行器。 AWS 利用生成式 AI 和邊緣運算技術，讓不懂控制飛行器的檢驗人員通過文字指令，著飛行器飛到指定位置。配合傳統機械學習的電腦視覺模型檢驗。

    最新影片

  • 國泰用 AWS 平台建 ML 、生成式 AI　改進客戶服務體驗

    國泰用 AWS 平台建 ML 、生成式 AI　改進客戶服務體驗

    國泰航空選擇 AWS 為策略雲端服務供應商，並合作成立「國泰機械學習創新中心」，用雲端技術和技能推動創新。現時已部署逾 50 個機械學習模型，幫助改善營運和客戶服務體驗。國泰甚至試用生成式 AI 處理客戶服務訊息。

    國泰數碼及資訊科技董事方逸翔表示，國泰近年遷移傳統工作負載至 AWS ，現時已完成逾 50% ，IT 基建成本減省 40%。之後會以雲端能力按需求擴充系統承載能力，向旅客提供預訂和旅行體驗。此外，機械學習平台 SageMaker 在 2018 年發表不久便已引入使用，更成立了「國泰機械學習創新中心」，將推動業務採用更多 AI 改善體驗。

    方逸翔又指，IT 團隊去年 5 月獲 AWS 邀請到美國西雅圖總部參與生成式 AI 的工作坊，其後聯手開發幾個方案，如將客戶的評論自動分類，通過基礎模型了解內容並區分成 100 個類別，以自動方式傳送至相關部門跟進，甚至草擬初步回覆內容，快速回應客戶。

    另外，為改善貨運浮動定價，用生成式 AI 收集市場資訊、網上和社交平台的討論等，以便預測貨運需求，建立收益管理模型，增加利潤和提升客戶忠誠度。 AWS 的生成式 AI 託管服務 Bedrock 可選用多個大型語言模型（LLM），方逸翔認為這些案例有採用標準模型，亦有用 LLM 微調，實際上視乎用途而定，不過肯定不是單一模型可應付所有用途。

    現時所使用的逾 50 個機械學習模型，其中包括能準確預算機上餐點需求、減少廚餘量的模型，以及實時預測機艙可用空間的模型。

    AWS 旅遊及酒店業全球主管 Massimo Morin 表示，航空業數碼轉型在過去幾年未有停下，以國泰為例，一直開發機械學習模型改善業務營運和客戶服務。預計亞洲市場將在明年全面復蘇，運用技術優勢爭取更多生意機會。

    國泰內部亦推動數碼文化創新、靈活創新。方逸翔稱，用雲端平台和生成式 AI 以最小可行產品（MVP）的低風險和快速作為概念驗證，失敗亦從中學習，甚至與部門分享以免重複。

    AWS 香港暨台灣總經理王定愷則指出，這概念跟 AWS 內部相似，靈活嘗試各類創新，用雲端技術以最低成本和最快速度做試驗，即使失敗亦有回頭路，有助推動內部創新文化。

    最新影片

  • AWS 加推大量生成式 AI 服務　夥 NVIDIA 雲端建超級電腦

    AWS 加推大量生成式 AI 服務　夥 NVIDIA 雲端建超級電腦

    公共雲平台的戰場轉至生成式 AI， AWS 在美國拉斯維加斯的年度大會 re:Invent 發表一連串生成式 AI 服務，其中有夥拍 NVIDIA 以 GH200 超級晶片建立超大規模叢集執行個體和具 65EFLOPS 運算效能的 AI 超級電腦。同時發表類似 ChatGPT 或 Copilot 的智能助理 Amazon Q ，用自然語言協助日常辦公。

    Adam Selipsky 在今年 re:Invent 大會發表多項生成式 AI 服務和基建。

    AWS 用企業的數據建立生成式 AI 服務。該公司行政總裁 Adam Selipsky 表示，企業的數據是其優勢，生成式 AI 用企業數據進一步發揮價值。企業引入生成式 AI 有不同選擇，可能自行訓練 LLM 和開發工具，或調校現成模型直接使用。 AWS 的策略是為企業提供更多大型語言模型，按需求選用。 Selipsky 特別強調：「雲端平台只提供單一語言模型並不足夠，甚至可能引起危機。在過去的十多日業界應該清楚了解情況。」

    AWS 的生成式 AI 堆疊（ Gen AI Stack ）分成三部分。首先在基建方面，該公司與 NVIDIA 有多項合作，為首個提供 GH200 超級晶片、 DGX Cloud 方案的雲端服務商。 雙方合作提供 NVIDIA GH200 NVL32 多節點平台的執行個體，平台採用 NVLink 與 NVSwitch 技術連結 32 個 GH200 超級晶片。配合 AWS 的 Nitro 、 EFA 、 UltraClusters 等連線技術，可擴展至配備數千 GH200 超級晶片的規模。 DGX Cloud 方案為 AI 訓練即服務，用於訓練具備 1 兆參數的大型語言模型。

    NVIDIA 創辦人及行政總裁黃仁勳稱，企業藉此以高效能基建訓練模型，而下一步將共同建立 Project Ceiba ，以 GPU 驅動的 AI 超級電腦。預計該超級電腦具備 65EFLOPS 運算能力，用上 16,384 顆 GH200 超級晶片，由 NVL32 與 EFA 連線技術支援。 AWS EC2 將加設 NVIIDA 新款 GPU 的執行個體，包括配置 H200 的 P5e 、 L4 和 L40S 的 G6 及 G6e ，可用於高效能工作負載、調校 LLM 、推論等。

    AWS 亦發表自行研發的 Trainium 2 ，較三年前推出的 Trainium 快 4 倍，專為訓練上兆參數的基礎模型而設。 Selipsky 稱， Trainium 2 適用於講求成本效益的企業，通過 AWS 連線技術可建立 65EFLOPS 運算效能的超級電腦執行個體。

    AWS 在上述基礎上設有基礎模型託管服務 Bedrock，原有的 6 個模型以外還加入 OpenAI 的對手 Anthropic 。後者為 OpenAI 前員工所創立，今年 9 月獲 AWS 及 Google Cloud 分別注資 40 億美元和 15 億美元。 Anthropic 創辦人 Dario Amodei 稱，旗下的大型語言模型 Claude 由 AWS 基建訓練，同時為 Bedrock 用戶提供新選擇。 Claude 2.1 一次可解讀 20 萬字詞，約是超長篇書本，較前一代倍增長度。

    生成式 AI 堆疊的應用方面，有今年的重點新發布 —— Amazon Q 。這服務利用企業的數據訓練而生成相關的內容，協助員工日常工作。 Selipsky 表示， Amazon Q 用 AWS 過去 17 年的知識來訓練，支援 IT 人員和企業員工，例如協助升級程式碼，將舊版本的 Java 程式碼升級， 1,000 個程式僅用兩日完成。 IT 人員可將基建要求輸入 Amazon Q ，獲得建議使用合適的 AWS 服務和執行個體。

    Amazon Q 可連接逾 40 個軟件，包括： Dropbox 、 Google Drive 、 Microsoft 365 等，分析內裡的數據，回答用戶的業務提問，提供度身訂造的對話、生成內容。過程設有身分驗證，按職能權限存取數據。該公司旗下的 BI 服務 QuickSight 、客戶服務中心 Connect 都會加入 Amazon Q ，注入 AI 功能。

    最新影片

  • AWS 託管生成式 AI 服務　Amazon Bedrock 正式可用

    AWS 託管生成式 AI 服務　Amazon Bedrock 正式可用

    AWS 全託管生成式 AI 服務 Amazon Bedrock 正式可用，備有多間 AI 公司（包括 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和亞馬遜）的基礎模型，讓企業簡化開發過程。

    Amazon Bedrock 允許企業使用自己的專有數據客製模型，毋須企業撰寫任何代碼便可建立託管代理（ AI agent ）執行複雜任務，例如旅行預訂、處理保險索賠、策劃廣告活動和管理庫存等。此服務採用無伺服器（ serverless ）技術，企業不用管理任何基礎設施便可集成和部署到應用程式中。

    配合 Amazon PrivateLink，在 Amazon Bedrock 與虛擬私有網絡（ VPC ）之間建立專門的連接，可確保任何數據傳輸不會暴露在公共網絡。AWS 還強調，Amazon Bedrock 符合 HIPAA （《健康保險流通與責任法案》）要求，並且可以在 GDPR（歐盟《通用資料保護條例》）合規標準下使用。

    Amazon Bedrock 還透過 Amazon Titan Embedding 和 Llama 2 擴大可選模型範圍，協助用戶找到適合應用場景的模型。前者是大語言模型（LLM），能將文本轉換成被稱為嵌入向量（ embeddings ）的數值表示，支持檢索增強生成（ RAG ）的應用場景。Amazon Titan Embeddings 支援超過 25 種語言和 8,192 個 Token 的上下文長度，適合基於企業的應用場景處理單個單詞、短語或整個文檔。該模型可返回 1,536 個維度的輸出向量。

    而 Llama 2 模型比之前的 Llama 模型有顯著改進，包括使用比原始訓練多 40% 的訓練資料，並具有更長的上下文長度（ 4,000 個 Token），以處理更大的文檔。 Amazon Bedrock 提供的 Llama 2 模型已經過優化，可以在 AWS 基礎設施上提供快速回應，適合對話式應用場景。用戶可以建立由 130 億和 700 億個參數的 Llama 2 模型驅動的生成式AI 應用程式。

    AWS 同時還推出 Amazon CodeWhisperer 新功能，容許用戶使用私有代碼庫客製　 CodeWhisperer 代碼建議。 Amazon CodeWhisperer 是程式設計助手，透過對數十億行來自亞馬遜和公開可用的代碼進行訓練，提高開發人員的生產力。

    而另一項新功能則是 Amazon QuickSight 生成式 BI 創作，有助業務分析師使用自然語言命令建立和客製資料視覺化效果。此功能能夠建立互動式儀錶板、分頁報告以及嵌入式分析，同時具備使用 QuickSight Q 進行自然語言查詢的能力。

    最新影片

  • AWS 設代理自動生成應用程式　毋須任何手動編程

    AWS 設代理自動生成應用程式　毋須任何手動編程

    Amazon Web Services（ AWS ）宣布推出七項生成式 AI 新功能，其中最矚目的是 Amazon Bedrock Agents 代理功能。這項全託管功能使開發人員能夠創建基於生成式 AI 的應用程式完成複雜任務，並根據專有資訊源提供新答案。

    Amazon Bedrock 新增基礎模型，提供來自 Anthropic 及 Stability AI 的一系列文本和圖像基礎模型，涵蓋分析文本情緒、圖像分類和趨勢預測等應用。 Anthropic 的 Claude 2 在每個對話任務提示中最多可以使用 10 萬個標記（ tokens ），代表可以處理數百頁文本，甚至整本書。相比之前的版本， Claude 2 還可以撰寫長篇文件（如備忘錄和故事），長度可達幾千個標記，能讓企業簡便地開發生成式 AI 應用程式。Stability AI 的 SDXL 1.0 能夠生成逼真的影視、電視、音樂和教學影片，比此前版本有更精細的圖像和構圖細節。SDXL 1.0 將通過 Amazon SageMaker JumpStart 提供，是一個提供運算法、模型和解決方案的機械學習中心。

    Amazon Bedrock 還加入 Amazon Bedrock 代理 （Agents），開發人員只需簡單操作就會自動分析任務、創建並編排計畫，毋須任何手動編程。該代理通過 API 接口連接公司數據，自動將數據轉換為機械可讀的格式，並增加相關訊息以生成最準確的回答。然後代理可以自動調用 API 來回應用戶的請求，例如保險機構開發生成式 AI 應用程式幫助員工自動處理保險索賠或管理待處理文書。

    AWS 發布的生成式 AI 新功能還包括 Amazon EC2 P5 實例正式可用，加速生成式 AI 和高性能運算應用；Amazon OpenSearch Serverless 支援新的向量引擎；編程助手 Amazon CodeWhisperer 與 Amazon Glue 整合；Amazon QuickSight 新增生成式 BI 功能；幫助企業提升數據質量的分析服務 AWS Entity Resolution 正式可用；以及協助提升醫療行業生產效率的智能醫療新服務 AWS HealthScribe 等。

    最新影片

  • AWS 投資一億美元建生成式 AI 創新中心　幫助企業加速部署創新方案

    AWS 投資一億美元建生成式 AI 創新中心　幫助企業加速部署創新方案

    亞馬遜旗下的 Amazon Web Services 投資一億美元（約 7.8 億港元）成立 AWS 生成式 AI 創新中心，目標將 AWS AI 和機械學習專家與全球客戶連接，幫助企業建立和部署生成式 AI 解決方案。

    AWS 全面推進生成式 AI 策略，讓這技術惠及全球客戶和合作夥伴。該公司銷售、市場和全球服務高級副總裁 Matt Garman 表示：「全球客戶都渴望獲得有關如何快速、安全地開始使用生成式 AI 的指導。AWS 的目標是通過生成式 AI 專家團隊和提供靈活、高效的生成式 AI 服務，幫助每個組織利用 AI，釋放生成式 AI 的潛力。」

    AWS 生成式 AI 創新中心團隊由戰略專家、數據科學家、工程師和解決方案架構師組成，將與企業合作，逐步構建生成式 AI 的定制解決方案。例如，醫療保健和生命科學業可加速藥物發現與研究；製造業可構建解決方案重塑工業設計和流程；金融服務業可為客戶提供更多個性化的訊息和建議。

    通過免費的研討會、交流和培訓，AWS 會為企業介紹最佳實踐和行業專業知識，幫助其構想和發現應用案例，並選擇合適的模型、定義解決技術或業務挑戰的路徑、開發概念驗證（ POC ），以及制訂規模化線上解決方案的計畫。AWS 生成式 AI 創新中心團隊將指導企業如何負責任地應用生成式 AI 和優化機械學習操作，以降低成本。在交流中，企業亦可獲得關於生成式 AI 的戰略、工具和支持，使用 AWS 生成式 AI 服務，包括 AI 驅動的編程助手 Amazon CodeWhisperer 和全託管生成式 AWS 服務 Amazon Bedrock。

    Amazon Bedrock 可通過 API 接口提供對包括 AI21 Labs、Anthropic 和 Stability AI 在內的基礎模型和亞馬遜自研的 Amazon Titan 基礎模型家族的訪問權限。企業戶還可使用基礎設施來訓練和運行自己的模型，包括 AWS Inferentia 支持的 Amazon EC2 Inf1 實例、 AWS Trainium 支持的 Amazon EC2 Trn1 實例及支持的 Amazon EC2 P5 實例。

    此外，企業還可使用 Amazon SageMaker 構建、訓練和部署自己的模型，或使用 Amazon SageMaker Jumpstart 部署基礎模型，包括 Cohere 的大語言模型、 TII 的 Falcon 40B 和 Hugging Face 的 BLOOM。目前，已有多間企業與 AWS 生成式 AI 創新中心合作，包括 Highspot 、 Lonely Planet 及 Twilio 等等。

    最新影片

  • AWS 趕上生成式 AI 競賽　發表語言模型 Titan 、自訂工具 Bedrock

    AWS 趕上生成式 AI 競賽　發表語言模型 Titan 、自訂工具 Bedrock

    科技企業陸續發表生成式 AI 工具，繼微軟、 Google 之後，公共雲平台龍頭 AWS 終於回應。 AWS 新發表語言模型 Titan 、自訂語言模型工具 Bedrock ，以及新增訓練模型的執行個體 Trn1n 和生成式程式碼工具 CodeWhisperer 。

    AWS 的語言模型 Titan 為基礎模型，現時包括兩個大型語言模型。第一個模型針對總結、生成文本、分類、開放式問答和資訊擷取等任務。第二個是嵌入文本（embeddings）大型語言模型，能夠將輸入的文本翻譯成包含語義的嵌入編碼。

    AWS 的生成式 AI 主要有三項服務，包括自訂工具 Bedrock、新執行個體 Trn1n、程式碼助理 CodeWhisperer 。

    AWS 未有提供這些預先訓練的語言模型資料，如參數、訓練數據量等。實際上，這正是 Amazon.com 產品搜尋所用的同類技術，幫助客戶尋找所需的商品。AWS 亦強調其生成式 AI 對個性化推薦和搜尋等程式有重要作用，編碼幫助模型產生更相關、更符合情境的結果。

    而 Bedrock 是從基礎模型建立生成式 AI 的服務，主要讓企業容易自訂模型，又保障私隱和數據安全。 Bedrock 可透過 API 存取多個大型語言模型，開發生成 AI：

    • AI21 Labs 的 Jurassic-2：用自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。
    • Anthropic 的 Claude：為 Google 投資的 AI 創業公司，以誠實和負責任的 AI 系統執行多種對話和文本處理任務。
    • Stability AI 的 Stable Diffusion：為目前較熱門的文字生成圖像模型。

    Bedrock 以無伺服器服務方式，企業自訂適合業務需要的模型，通過 Amazon S3 標註好的資料範例，甚至可少至 20 個範例，建立針對特定任務微調模型。例如內容營銷經理以過去的營銷廣告案例，加上新產品描述，透過 Bedrock 就能自動生成有效的社交平台內容、產品網頁等。整個過程在虛擬私有雲內處理，確保料資安全和保護私隱。 Bedrock 目前提供有限預覽，只向部分客戶開放，數月內將進一步擴充可用範圍。

    新執行個體 Trn1n 、 Inf2 正式可用

    AWS 亦新增執行個體 Trn1n 用於訓練模型。這執行個體專為大型網絡密集型模型設計，採用該公司自行開發的訓練晶片 Trainium ，較 Trn1 的 800Gbps 頻寬多 1 倍至 1,600Gpbs ，效能比 Trn1 高 20% 。

    同時將去年 re:Invent 發表的推論執行個體 Inf2 正式可用。 Inf2 採用 AWS 研發的推論晶片 Inferentia2 ，為數千億參數級別的模型作優化，較上一代執行個體提高傳送量 4 倍，降低 10 倍時延，推論的成本效益提升 40%。

    CodeWhisperer 內建掃描程式碼安全

    生成程式碼是大型語言模型支援的重要功能，AWS 在 Amazon re:MARS 2022 已發表類似的 AI 助理 CodeWhisperer，一直只在預覽階段，如今正式開放給所有用戶。 CodeWhisperer 內嵌基礎模型，支援 10 種開發語言，如 Python、Java、PHP、SQL 等 10 種語言，在 VS Code、IntelliJ IDEA、AWS Cloud9 等開發平台通過 AWS Toolkit IDE 外掛程式使用。

    AWS 在預覽期間作生產力測試，使用 CodeWhisperer 的開發人員完成任務的速度平均快 57%，成功率高 27%。CodeWhisperer 較其他生成程式碼助理的不同之處，在於內建安全掃描功能，自動尋找難以檢查的漏洞，提出修改建議。例如十大開放式 Web 應用程式安全專案（OWASP）中的漏洞，以及不符合加密庫最佳實踐的漏洞等。CodeWhisperer 會過濾可能被認為有偏見或不公平的程式碼建議。

    該服務已開放給個人用戶免費使用，不設使用次數和時間限制。同時提供 CodeWhisperer 專業版加入高級管理功能，如整合 AWS IAM、更高程度的安全掃描。