GenAI的蜜月期已經(jīng)結(jié)束。大多數(shù)企業(yè)都在學(xué)習(xí)，構(gòu)建驚艷的GenAI試點項目相對容易，但將它們轉(zhuǎn)化為大規(guī)模的能力則是另一回事。根據(jù)我們最新的技術(shù)趨勢研究，僅有11%的公司已經(jīng)在大規(guī)模應(yīng)用GenAI，這一事實解釋了從試點到規(guī)?；睦щy。

這個成熟階段是一個受歡迎的發(fā)展，因為它給CIO一個機會，可以將GenAI的承諾轉(zhuǎn)化為業(yè)務(wù)價值。雖然大多數(shù)CIO知道試點項目不反映真實的場景——畢竟這不是試點的真正目的——他們往往低估了將GenAI投入生產(chǎn)所需的工作量。最終，要充分利用GenAI，公司需要重新設(shè)計工作方式，而建立一個可擴展的技術(shù)基礎(chǔ)是這一過程的重要組成部分。

在我們之前的文章中，我們探討了許多關(guān)鍵的初始技術(shù)問題。在這篇文章中，我們希望探討關(guān)于用“Shaper”方法(公司通過將大型語言模型(LLM)連接到內(nèi)部應(yīng)用程序和數(shù)據(jù)源來開發(fā)競爭優(yōu)勢)擴展GenAI的七個真相。以下是Shapers需要知道和做的七件事：

1. 消除噪音，專注于信號。誠實地評估哪些試點項目有效。減少實驗。將努力集中在解決重要的業(yè)務(wù)問題上。

2. 關(guān)鍵在于如何組合，而不是單個部分。評估GenAI引擎的各個組件花費了太多時間，更重要的是弄清楚它們?nèi)绾伟踩貐f(xié)同工作。

3. 在成本拖累你之前掌握成本。模型僅占GenAI應(yīng)用程序總體成本的約15%。了解成本所在，并應(yīng)用合適的工具和能力來控制它們。

4. 控制工具和技術(shù)的擴散?；A(chǔ)設(shè)施、LLM和工具的擴散使得大規(guī)模部署不可行。縮小到那些最能服務(wù)于業(yè)務(wù)的能力，并利用現(xiàn)有的云服務(wù)(同時保留你的靈活性)。

5. 創(chuàng)建能夠構(gòu)建價值的團隊，而不僅僅是模型。實現(xiàn)規(guī)?；枰粋€擁有廣泛技能的團隊，不僅能構(gòu)建模型，還能確保它們安全、可靠地產(chǎn)生預(yù)期的價值。

6. 關(guān)注正確的數(shù)據(jù)，而不是完美的數(shù)據(jù)。瞄準(zhǔn)最重要的數(shù)據(jù)并在時間上投資其管理，對你能多快實現(xiàn)規(guī)模有很大影響。

7. 重用。可重用代碼可以將GenAI用例的開發(fā)速度提高30%到50%。

1. 消除噪音，專注于信號

盡管許多業(yè)務(wù)領(lǐng)導(dǎo)者承認(rèn)需要超越試點和實驗，但這并不總是反映在實際情況中。即使GenAI的采用增加了，其對實際收益的影響實例仍然很少。在我們最新的AI調(diào)查中，只有15%的公司表示GenAI的使用對他們公司的EBIT產(chǎn)生了有意義的影響。

這種情況加劇了領(lǐng)導(dǎo)者從實驗中得出誤導(dǎo)性教訓(xùn)的問題。他們試圖將本質(zhì)上是聊天界面試點的項目轉(zhuǎn)變?yōu)閼?yīng)用程序——這是典型的“為技術(shù)尋找解決方案”的陷阱?；蛘咭粋€試點可能被認(rèn)為是“成功的”，但它并沒有應(yīng)用到業(yè)務(wù)的重要部分。

失敗實現(xiàn)規(guī)?；脑蛴泻芏啵钪饕氖琴Y源和高管的關(guān)注分散在幾十個正在進行的GenAI項目上。這并不是一個新現(xiàn)象。當(dāng)其他技術(shù)(如云計算和高級分析)出現(xiàn)時，我們也看到了類似的模式。然而，這些創(chuàng)新的經(jīng)驗教訓(xùn)并沒有被牢記。

CIO需要做出的最重要決定是消除表現(xiàn)不佳的試點項目，并擴大那些在技術(shù)上可行并有望解決重要業(yè)務(wù)領(lǐng)域同時最小化風(fēng)險的項目。CIO需要與業(yè)務(wù)單元領(lǐng)導(dǎo)密切合作，設(shè)置優(yōu)先級并處理他們選擇的技術(shù)影響。

2. 關(guān)鍵在于如何組合，而不是單個部分

在許多討論中，我們聽到技術(shù)領(lǐng)導(dǎo)者對交付GenAI(GenAI)解決方案所需的組件部分——LLM、API等——反復(fù)糾結(jié)。然而，我們了解到，解決這些單個部分相對容易，而將它們集成起來則非常困難。這在GenAI的規(guī)模化過程中創(chuàng)造了一個巨大的障礙。

挑戰(zhàn)在于協(xié)調(diào)范圍廣泛的交互和集成。每個用例通常需要訪問多個模型、向量數(shù)據(jù)庫、提示庫和應(yīng)用程序。公司必須管理各種來源(如云端、本地、供應(yīng)商處或其組合)，保真度的程度(包括延遲和彈性)，以及現(xiàn)有的協(xié)議(例如訪問權(quán)限)。添加一個新的組件來提供解決方案，會對系統(tǒng)中的所有其他組件產(chǎn)生連鎖反應(yīng)，增加整體解決方案的指數(shù)級復(fù)雜性。

有效協(xié)調(diào)的關(guān)鍵在于將企業(yè)的領(lǐng)域和工作流程專業(yè)知識嵌入到應(yīng)用程序在云基礎(chǔ)上運行時的模型、數(shù)據(jù)和系統(tǒng)交互的逐步流程和順序管理中。有效協(xié)調(diào)引擎的核心組件是API網(wǎng)關(guān)，它負(fù)責(zé)驗證用戶、確保合規(guī)、記錄請求和響應(yīng)對(例如，幫助團隊計費)，并將請求路由到最佳模型，包括第三方提供的模型。網(wǎng)關(guān)還支持成本跟蹤，并為風(fēng)險和合規(guī)團隊提供了一種可擴展的使用監(jiān)控方式。這個網(wǎng)關(guān)功能對于實現(xiàn)規(guī)模化至關(guān)重要，因為它允許團隊獨立操作，同時確保他們遵循最佳實踐。

然而，要有效協(xié)調(diào)交付GenAI能力所需的眾多交互，沒有有效的端到端自動化是不可能的?！岸说蕉恕笔沁@里的關(guān)鍵短語。公司通常會自動化工作流程的某些元素，但只有通過自動化整個解決方案，從數(shù)據(jù)處理(清理和集成)和數(shù)據(jù)管道構(gòu)建到模型監(jiān)控和通過“代碼即政策”進行風(fēng)險審查，才能真正獲得價值。我們的最新研究表明，GenAI高績效者在發(fā)布過程中的測試和驗證嵌入率是其同行的三倍多?，F(xiàn)代MLOps平臺對于幫助管理這種自動化流程至關(guān)重要，根據(jù)麥肯錫的分析，它可以加快生產(chǎn)速度十倍，并提高云資源的使用效率。

由于其概率性質(zhì)或基礎(chǔ)模型的頻繁變化，GenAI模型可能會產(chǎn)生不一致的結(jié)果。模型版本可能每周更新一次，這意味著公司不能僅僅設(shè)置其協(xié)調(diào)能力并讓其在后臺運行。他們需要開發(fā)超高敏感的觀察和分類能力，以快速、安全地實施GenAI。可觀察性工具實時監(jiān)控GenAI應(yīng)用程序與用戶的交互，跟蹤響應(yīng)時間、準(zhǔn)確性和用戶滿意度等指標(biāo)。如果應(yīng)用程序開始生成不準(zhǔn)確或不適當(dāng)?shù)捻憫?yīng)，該工具會提醒開發(fā)團隊進行調(diào)查，并對模型參數(shù)、提示模板或協(xié)調(diào)流程進行必要的調(diào)整。

3. 控制成本，避免成本失控

GenAI數(shù)據(jù)使用和模型交互的規(guī)模龐大，意味著成本可能迅速失控。管理這些成本將對CIO是否能夠在規(guī)模上管理GenAI項目產(chǎn)生巨大影響。但了解是什么驅(qū)動成本對GenAI項目至關(guān)重要。例如，模型本身僅占典型項目工作量的約15%。隨著時間的推移，LLM成本顯著下降，并繼續(xù)下降。

CIO應(yīng)將精力集中在以下四個現(xiàn)實上：

- 變更管理是最大的成本。我們的經(jīng)驗表明，管理GenAI成本的一個好經(jīng)驗法則是，每花費1美元開發(fā)模型，您需要花費約3美元進行變更管理。(相比之下，對于數(shù)字解決方案，這一比例通常接近1美元開發(fā)1美元變更管理。)紀(jì)律性管理變更操作范圍，從培訓(xùn)人員到角色建模到主動績效跟蹤，對于GenAI至關(guān)重要。我們的分析表明，高績效者在績效管理基礎(chǔ)設(shè)施(如關(guān)鍵績效指標(biāo)(KPI))方面的可能性幾乎是其他人的三倍，以衡量和跟蹤GenAI的價值。他們也更有可能培訓(xùn)非技術(shù)人員，讓他們足夠了解使用GenAI的潛在價值和風(fēng)險。

公司在處理變更管理成本方面取得成功，主要集中在兩個領(lǐng)域：首先，從一開始就讓最終用戶參與解決方案的開發(fā)(公司往往只是為GenAI應(yīng)用程序創(chuàng)建一個聊天界面);其次，邀請他們最優(yōu)秀的員工來訓(xùn)練模型，以確保模型正確且快速地學(xué)習(xí)。

- GenAI應(yīng)用程序的運行成本大于構(gòu)建成本。我們的分析表明，運行模型的費用遠高于構(gòu)建模型?；A(chǔ)模型的使用和勞動力是成本的主要驅(qū)動因素。大部分勞動力成本用于模型和數(shù)據(jù)管道的維護。在歐洲，我們發(fā)現(xiàn)風(fēng)險和合規(guī)管理也會產(chǎn)生顯著的成本。

- 降低模型成本是一個持續(xù)的過程。例如，如何設(shè)計GenAI的架構(gòu)決策可能導(dǎo)致成本差異達10到20倍，有時甚至更多?，F(xiàn)有一系列成本削減工具和能力，例如預(yù)加載嵌入。這不是一次性的工作。成本優(yōu)化過程需要時間和多種工具，但如果做得好，可以將成本從每次查詢一美元減少到不到一美分。

- 投資應(yīng)與投資回報率(ROI)掛鉤。并非所有GenAI交互都需要同等對待，因此它們的成本也不應(yīng)相同。例如，GenAI工具響應(yīng)客戶的實時問題，對于客戶體驗至關(guān)重要，需要較低的延遲率，因此成本更高。但代碼文檔工具則不需要如此高的響應(yīng)速度，可以以更低的成本運行。云在推動ROI方面起著至關(guān)重要的作用，因為其主要價值來源于支持業(yè)務(wù)增長，尤其是支持大規(guī)模的分析解決方案。目標(biāo)是開發(fā)一種建模紀(jì)律，在不陷入無休止分析的情況下，將ROI聚焦于每個GenAI用例。

4. 控制工具和技術(shù)的泛濫

許多團隊仍在推動自己的用例，并且通常設(shè)置了自己的環(huán)境，導(dǎo)致公司不得不支持多種基礎(chǔ)設(shè)施、LLM、工具和擴展方法。事實上，在最近的麥肯錫調(diào)查中，受訪者將“平臺過多”列為實施GenAI規(guī)?；氖滓夹g(shù)障礙?；A(chǔ)設(shè)施和工具越多，操作的復(fù)雜性和成本就越高，這反過來使得大規(guī)模推出變得不可行。這種狀況類似于云和軟件即服務(wù)(SaaS)的早期階段，當(dāng)時訪問技術(shù)變得如此容易——通常只需一張信用卡——導(dǎo)致工具泛濫，造成混亂和風(fēng)險。

要實現(xiàn)規(guī)模化，公司需要一套可管理的工具和基礎(chǔ)設(shè)施。但如何選擇供應(yīng)商、主機、工具和模型?關(guān)鍵在于不要在無關(guān)緊要的決策上浪費時間(例如，選擇LLM的重要性越來越低，因為它們逐漸變成商品)，或者在根本沒有多少選擇的情況下浪費時間——例如，如果你的主要云服務(wù)提供商(CSP)擁有大部分?jǐn)?shù)據(jù)并且你的團隊熟悉該CSP的工作方式，那么你應(yīng)該選擇該CSP的GenAI服務(wù)。事實上，主要的CSP正在推出新的GenAI服務(wù)，這些服務(wù)可以幫助公司改進一些用例的經(jīng)濟性并開放新的訪問。公司如何利用這些服務(wù)取決于許多變量，包括其自身的云成熟度和云基礎(chǔ)的實力。

需要詳細考慮的是如何以靈活的方式構(gòu)建基礎(chǔ)設(shè)施和應(yīng)用程序，使其相對容易地切換供應(yīng)商或模型。可以考慮采用供應(yīng)商廣泛使用的標(biāo)準(zhǔn)(如KFServing，一種用于部署GenAI模型的無服務(wù)器解決方案)，Terraform用于基礎(chǔ)設(shè)施即代碼，以及開源LLM。

值得強調(diào)的是，過度設(shè)計靈活性最終會導(dǎo)致收益遞減。解決方案過多會變得維護成本高昂，難以充分利用服務(wù)提供商提供的服務(wù)。

5. 創(chuàng)建能夠創(chuàng)造價值的團隊，而不僅僅是構(gòu)建模型的團隊

公司面臨的最大問題之一是他們?nèi)詫enAI視為技術(shù)項目，而不是廣泛的業(yè)務(wù)優(yōu)先事項。然而，過去的技術(shù)努力表明，創(chuàng)造價值從來不僅僅是“技術(shù)”問題。要讓GenAI產(chǎn)生真正的影響，公司必須建立能夠超越IT功能并將其嵌入業(yè)務(wù)中的團隊。過去的經(jīng)驗教訓(xùn)也適用。例如，敏捷實踐加快了技術(shù)開發(fā)。但只有當(dāng)企業(yè)的其他部分(如風(fēng)險和業(yè)務(wù)專家)與產(chǎn)品管理和領(lǐng)導(dǎo)團隊一起整合到團隊中時，才會產(chǎn)生更大的影響。

為了確保更廣泛的企業(yè)整合，有多種原型可以使用。一些公司建立了卓越中心，作為優(yōu)先考慮用例、分配資源和監(jiān)控績效的中樞。其他公司則在團隊之間分配戰(zhàn)略和戰(zhàn)術(shù)職責(zé)。哪個原型適合某個特定企業(yè)，取決于其可用的人才和本地實際情況。但關(guān)鍵是，這一集中職能部門能夠促成技術(shù)、業(yè)務(wù)和風(fēng)險領(lǐng)導(dǎo)者之間的緊密合作，并嚴(yán)格遵循驅(qū)動成功項目的成熟協(xié)議。這些可能包括季度業(yè)務(wù)審查，以根據(jù)特定目標(biāo)和關(guān)鍵結(jié)果(OKR)跟蹤項目進展，并采取干預(yù)措施解決問題、重新分配資源或關(guān)閉表現(xiàn)不佳的項目。

這個治理結(jié)構(gòu)的一個關(guān)鍵角色是確保有效的風(fēng)險協(xié)議得以實施和遵循。例如，構(gòu)建團隊需要繪制每個用例相關(guān)的潛在風(fēng)險;在整個用例生命周期中，需要實施技術(shù)和“人機協(xié)作”協(xié)議。這個監(jiān)督機構(gòu)還需要管理GenAI風(fēng)險，通過評估暴露點并實施緩解策略來進行管理。

一個需要防范的問題是僅僅管理戰(zhàn)術(shù)用例的流量，特別是在數(shù)量大的情況下。這個中央企業(yè)需要授權(quán)將相關(guān)用例聚集在一起，以確保大規(guī)模影響并推動大型創(chuàng)意。這個團隊需要充當(dāng)價值的守護者，而不僅僅是工作的管理者。

一家金融服務(wù)公司為高級管理層制定了明確的治理協(xié)議。由CIO和首席戰(zhàn)略官贊助的指導(dǎo)小組專注于企業(yè)治理、戰(zhàn)略和溝通，推動用例的識別和審批。由CTO贊助的賦能小組則專注于數(shù)據(jù)架構(gòu)、數(shù)據(jù)科學(xué)、數(shù)據(jù)工程和核心賦能能力的決策。CTO還要求至少一名有經(jīng)驗的架構(gòu)師早期加入用例團隊，以確保團隊使用既定標(biāo)準(zhǔn)和工具集。這種監(jiān)督和治理的明確性在幫助企業(yè)從管理5個用例到超過50個用例的過程中起到了關(guān)鍵作用。

6. 選擇合適的數(shù)據(jù)，而不是完美的數(shù)據(jù)

很多人誤以為GenAI可以簡單地收集必要的數(shù)據(jù)并加以理解。但沒有清晰準(zhǔn)確的數(shù)據(jù)，高性能的GenAI解決方案是不可能的，這需要實際的工作和關(guān)注。那些投資于數(shù)據(jù)基礎(chǔ)設(shè)施以生成優(yōu)質(zhì)數(shù)據(jù)的公司，會有更明確的目標(biāo)。

以標(biāo)簽處理為例，這個過程往往在為所有數(shù)據(jù)追求完美和完全忽視之間搖擺。我們發(fā)現(xiàn)，針對用于增強生成(RAG)的數(shù)據(jù)進行有針對性的標(biāo)簽處理，可以顯著提高GenAI查詢答案的質(zhì)量。同樣，花時間為內(nèi)容來源的重要性進行評級(“權(quán)威加權(quán)”)也很關(guān)鍵，這有助于模型理解不同來源的相對價值。做到這一點需要具有相關(guān)專業(yè)知識的人的大量監(jiān)督。

由于GenAI模型非常不穩(wěn)定，公司需要在添加新數(shù)據(jù)時維護其平臺，這種情況經(jīng)常發(fā)生，并且會影響模型的表現(xiàn)。在大多數(shù)公司，這變得極其困難，因為相關(guān)數(shù)據(jù)分散在許多不同的地方。那些投資于創(chuàng)建數(shù)據(jù)產(chǎn)品的公司處于領(lǐng)先地位，因為他們有一個企業(yè)良好的數(shù)據(jù)源，可以用于長期訓(xùn)練模型。

例如，在一家材料科學(xué)產(chǎn)品公司，各個團隊訪問產(chǎn)品信息，但每個團隊都有不同的版本。研發(fā)部門有材料安全表，應(yīng)用工程團隊(技術(shù)銷售/支持團隊)開發(fā)自己的版本以解決特定客戶的問題，商業(yè)化團隊有產(chǎn)品描述，客戶支持團隊有一套特定的產(chǎn)品詳情來回答查詢。隨著每個團隊更新其版本的產(chǎn)品信息，出現(xiàn)了沖突，使得GenAI模型難以使用這些數(shù)據(jù)。為了解決這個問題，公司將所有相關(guān)的產(chǎn)品信息集中到一個地方。

7. 重復(fù)利用

可重復(fù)使用的代碼可以將GenAI用例的開發(fā)速度提高30%到50%。但是，由于急于取得有意義的突破，團隊往往專注于單個用例，從而導(dǎo)致規(guī)模化的希望破滅。CIO需要將業(yè)務(wù)的精力轉(zhuǎn)向構(gòu)建能夠服務(wù)于多個用例的跨領(lǐng)域解決方案。實際上，我們發(fā)現(xiàn)，表現(xiàn)突出的GenAI團隊在構(gòu)建戰(zhàn)略性基礎(chǔ)設(shè)施以實現(xiàn)跨解決方案重用方面的可能性幾乎是其他團隊的三倍。

然而，在致力于重用時，很容易陷入構(gòu)建抽象GenAI能力的陷阱，這些能力雖然在技術(shù)上很容易實現(xiàn)，但卻沒有得到實際使用。一種更有效的構(gòu)建可重用資產(chǎn)的方法是對一組用例(通常是三到五個)進行有紀(jì)律的審查，以確定它們的共同需求或功能。團隊可以將這些共同元素構(gòu)建為可輕松重用或組合在一起以創(chuàng)建新功能的資產(chǎn)或模塊。例如，數(shù)據(jù)預(yù)處理和攝取可以包括數(shù)據(jù)分塊機制、結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)加載器以及數(shù)據(jù)轉(zhuǎn)換器等獨立模塊。一家歐洲銀行審查了其能力在廣泛用例中使用的可能性，并投資開發(fā)了一個合成器模塊、一個翻譯模塊和一個情感分析模塊。

CIO不能期望這一切自然發(fā)生。他們需要指定一個角色，比如平臺所有者，并指定一個跨職能團隊，任務(wù)是為產(chǎn)品團隊開發(fā)可重用資產(chǎn)，這些資產(chǎn)可以包括經(jīng)過批準(zhǔn)的工具、代碼和框架。

GenAI可能帶來的價值是變革性的。但要捕捉到全部價值，公司需要在規(guī)模上利用GenAI，這要求CIO不僅要承認(rèn)這些艱難的現(xiàn)實，還要準(zhǔn)備采取行動，引領(lǐng)企業(yè)前進。