agent options(agent option)

BigModel下半場正式拉開帷幕。

代理成為最重要的方向。

OpenAI創始成員AndrejKarpathy在一次黑客馬拉鬆演講中表示，相比大型模型訓練，OpenAI目前更關注Agent領域。每當有新的Agent論文出來，團隊都會興奮不已，認真討論。你們（開發者）都處於Agent開發的最前沿，而OpenAI在這方麵的積累很少。

什麼是代理？在大型模型的背景下，它可以被理解為一個能夠自主理解、計劃和執行複雜任務的係統。

以AutoGPT、BabyAGI為代表的技術示範項目在今年4月曾短暫流行，但距離真正應用於商業還有一段距離。

現在，第二輪Agent爆發正在醞釀，其標誌是新一輪與場景結合更加緊密的應用。毫不奇怪，編程和開發行業首先采取了行動。最近流行的開源項目Sweep直接與GitHub的Issue和PullRequest場景集成，自動清理Bug報告和功能請求並直接完成相應的代碼。初創公司中還有OpenAI支持的Cursor代碼編輯器，將代碼生成提升到一句話生成整個項目框架的水平。

接下來，Agent也將成為各行各業構建新一代AI應用的新起點和不可或缺的組件。對此，初創公司SednapseAI創始人提出了構建AI應用的五層基石理論，引起業界關注。

Models，也就是我們熟悉的調用大模型的API。

PromptTemplates，提示模板，在提示詞中引入變量以適應用戶輸入。

鏈，對模型的鏈式調用，其中先前的輸出是下一個輸入的一部分。

Agent可以自主執行鏈調用並訪問外部工具。

Multi-Agent，多個Agent共享部分內存，相互獨立協作。

除了創業先鋒，就連AI基礎設施巨頭也開始在Agent上發力。例如，紐約亞馬遜雲技術峰會上宣布的AmazonBedrockAgents新功能就是這一趨勢最有代表性的體現。

AmazonBedrockAgents在完全托管的基礎模型服務的基礎上，還封裝和集成了開發、部署和管理多個Agent的能力。如果按照之前的五層基石理論，這類服務相當於直接從第五層開始，大大降低了開發門檻。正如亞馬遜雲技術在發布會上所描述的：隻需點擊幾下，你就可以創建能夠執行任務的生成式人工智能應用程序。可以預見，降低了門檻的Agent應用也將在各行各業爆發。

Agent，AI應用新時代的起點

什麼算作代理申請？OpenAI中國科學家翁麗蓮給出了一個直觀的公式：Agent=大模型+內存+主動規劃+工具使用

以亞馬遜雲技術平台為例，在開發Agent應用時，首先要根據具體的任務場景為Agent選擇合適的基礎模型。除了自有的AmazonTitan大模型外，AmazonBedrock還彙聚了擅長安全可控的Anthropic、擅長檢索摘要信息的Cohere、專門研究Vincentian圖的stable.ai等多種模型。

選擇後，直接用文字描述要執行的任務指令，以便Agent了解要扮演的角色和要完成的目標。

指令可以是結構化提示詞，包括一係列問題-思考步驟-行動步驟-示例。在ReAct（協同推理與行動）技術的支持下，基礎模型可以通過推理和決策找到相應的解決方案。

下一個亮點是添加操作組。Agent要完成的具體任務，以及可以使用的工具，如企業係統API、Lambda函數等，都在這裏設置。官方演示是一個保險索賠管理場景，其中代理通過提取未結索賠列表、識別每項索賠的未完成文書工作並向保單持有人發送提醒來管理保險索賠。

所有操作組設置完畢後，隻需單擊幾下即可完成Agent的創建和部署。部署完成後，在測試中可以看到Agent理解了用戶請求，將任務分解為多個步驟（收集未結保險理賠、查找理賠ID、發送提醒）並執行相應操作。

AmazonBedrock通過基於向導的交互界麵減少了配置基本模型所需的編碼工作。ActionGroup提供了調用API實現特定功能、利用自己的數據構建差異化應用的能力，讓基礎模型能夠完成更複雜的實際業務任務。整個過程中，您還可以與亞馬遜雲技術平台上的各種安全服務進行配合。例如，使用PrivateLin在基本模型和本地網絡之間建立私有連接，這樣所有流量都不會暴露在互聯網上。通過提供完全托管的服務，開發人員可以利用基本模型的功能，而無需管理底層係統。最終縮短基礎模型到實際應用的周期，加速基礎模型為業務創造價值。

加速大模型應用還需要注意什麼？

借助AmazonBedrock的Agent能力，我們可以快速將大型模型投入到實際業務中，為企業實現降低成本、提高效率或創新。但要真正利用生成式人工智能的全部價值、發揮其全部潛力並與競爭對手競爭，私有數據至關重要。也就是說，大模型應用落地的關鍵是企業自身有價值的行業數據。如何將這些豐富的資源整合到我們的Agent中，保證我們的大型模型應用在執行任務時能夠高效的訪問到正確的信息，是當今每個企業必須麵對的問題。當然，這一切都必須在保證隱私的前提下進行。除了私有數據的集成和調用之外，在實現大模型應用的道路上，最基礎的支撐——計算能力，始終是一個被人們津津樂道的話題。

眾所周知，目前的顯卡資源極其稀缺且價格昂貴。例如，一項調查發現，今年4月中旬，英偉達的H100在海外電商平台上的售價已超過4萬美元，甚至標價6.5萬美元的情況也並不罕見。無論是購買還是租賃，這都成為全球企業探索生成式AI應用的一大筆支出。如何讓這筆開支更加節省呢？這也是每個企業都在思考的問題。值得注意的是，以亞馬遜雲技術為代表的供應商正在針對生成式AI實施中的這些挑戰和痛點提供係統的解決方案，一一解決上述問題。

針對個性化數據問題，亞馬遜雲技術宣布將為三項數據服務提供矢量引擎，以方便生成式AI應用和業務融合。我們知道，生成式AI爆發後，向量數據庫也非常受歡迎。因為它可以給出比傳統關係數據庫更與模型上下文相關的響應（如下圖所示）。

亞馬遜雲技術是一項使用矢量引擎將我們的私人數據存儲在數據庫中的服務。在執行生成式人工智能應用時，我們可以通過簡單的API調用輕鬆查詢內部數據。根據當前數據存儲位置、對數據庫技術的熟悉程度、向量維度的擴展、Embeddings的數量、性能要求等不同需求，亞馬遜雲技術提供了3種選擇來滿足：

-AmazonAuroraPostgreSQL兼容版關係型數據庫，支持pgvector開源向量相似度搜索插件；

-分布式搜索和分析服務AmazonOpenSearch，帶有用於AmazonOpenSearchServerless的k-NN（k最近鄰）插件和矢量引擎；

-AmazonRDS（AmazonRelationalDatabaseService）關係數據庫，兼容PostgreSQL，並支持pgvector插件。

當然，最值得關注的還是本次推出的AmazonOpenSearchServerless服務。其優點是企業隻關心矢量數據的存儲和檢索，無需承擔任何底層運維負擔。解決了數據集成問題後，在底層支持方麵，亞馬遜雲技術此次也直接推出了H100支持的全新AmazonEC2P5實例。這種計算資源曾經對大多數企業來說非常罕見，但現在已經變得唾手可得。

據了解，該實例包含8個NVIDIAH100TensorCoreGPU、640GB高帶寬GPU內存，還提供第三代AMDEPYC處理器、2TB係統內存和30TB本地NVMe存儲，以及3200Gbps聚合網絡帶寬和GPUDirectRDMA支持。實現更低的延遲和高效的橫向擴展性能。與上一代基於GPU的實例相比，AmazonEC2P5可以將訓練時間縮短多達6倍（從幾天到幾小時），並降低訓練成本高達40%。

再加上亞馬遜雲科技之前發布的基於自研芯片的AmazonEC2Inf2和AmazonEC2Trn1n也表現不錯，可以說在算力需求上我們有很大的按需選擇的空間。除了上述基本支持外，還提供各種開箱即用的AI服務：例如用於開發過程的AI編程助手AmazonCodeWhisperer。現在它與AmazonGlue集成，將AI代碼生成場景擴展到新的人群。數據工程師，這些開發人員隻需使用自然語言即可處理各種任務（例如使用json文件中的內容創建SparkDataFrame）；另一個例子是用於商業智能（BI）的AmazonQuickSight，它也可以讓業務分析師使用自然語言來執行日常任務，並在幾秒鍾內創建各種數據可視化圖表；AmazonHealthScribe可用於醫療行業生成臨床文檔，節省醫生時間。這些工具旨在讓公司專注於核心業務並提高生產效率。

最後簡單總結一下，我們可以發現：從今年4月開始，亞馬遜雲技術結合自身定位，基於真實用戶需求，正式宣布進軍生成式AI市場，為任何想要生成AI的人提供一個平台。使用生成式人工智能技術來加速或創新他們的業務。公司提供服務。短短四個月的時間，亞馬遜雲技術就推出了各種基礎資源，從基礎模型到算力支持，從私有數據存儲到高效的開發工具，應用範圍廣泛。此次紐約峰會發布的趨勢是繼續加大生成式人工智能應用開發所需的一切。從以AmazonEC2P5實例為代表的計算層，到以AmazonOpenSearchServerless向量引擎、AmazonBedrockAgents為代表的工具層，再到以AmazonQuickSight為代表的應用層，已經形成了端到端的解決方案。其中，亞馬遜雲技術不斷降低生成式AI的門檻。無論您是初創企業還是傳統行業，無論您處於生成式人工智能流程的哪一層，您都可以在這裏找到合適的工具，而無需花費太多精力。在底層邏輯之上，您可以快速進入實際業務。正如亞馬遜雲技術公司數據庫、數據分析和機器學習全球副總裁SwamiSivasubramanian所說：

我相信生成式人工智能將改變每一個應用程序、行業和企業。在這場各行各業都趨之若鶩的新技術變革下，亞馬遜雲技術提供的這一係列服務無疑為普通玩家贏得了寶貴的時間和機會。

可以預見，越來越多的生成式人工智能應用將會被開發出來，生成式人工智能的創造力將滲透到各個領域，改變和顛覆每一個行業。

-超過-