大模型時代下，有4個運維界普遍關注的問題，比如大模型落地運維場景，面臨哪些技術挑戰？與較為成熟的 AIOps 小模型有什么關系？面對百模大戰的情況，如何選擇大模型的底座？以及近期、中期、長期有哪些落地的應用？
今天將為大家帶來個人的一些觀點，供大家參考。
分享嘉賓｜裴丹 清華大學計算機系 長聘副教授、博士生導師
內容已做精簡，如需獲取專家完整版視頻實錄和課件，請掃碼領取。
01
大模型時代，智能運維的變化與趨勢
以上面左圖為例，在大模型之前，我們有很多還不錯的工具，但實際操作起來跟決策者之間有一個鴻溝，因為它操作起來是有一定的技術門檻，不是很方便。但是到了大模型時代，決策者或者資深專家是能夠現場決策的，可以通過自然語言，跟智能運維的工具所結合。上面右圖可以類比當前智能運維領域現狀：我們現在有不少大模型的AIOps工具，可以類比于星球大戰電影里R2-D2機器人，可以實現遙感、遙測、操作、處置等各種能力，但缺點是不會說人話。星球大戰的主角作為決策者，無法直接跟R2-D2機器人進行對話，所以需要一個大語言模型，也就是中間的金色機器人，專門做翻譯，實現讓已有工具說人話的希望。在此基礎上，除了要說人話，AIOps還需要把語言模型和各種小模型工具有機的整合。
這是一個什么概念？上圖右上角有很多的運維場景，左下角有很多不同模態的運維數據，面對復雜的場景，多模態數據和實時數據的數據關系，取決于拓撲等多種依賴關系數據。這種組合出來很多工具，表面看起來能力還蠻強的，也用到了AI，但是實際上它只是解決非常聚焦的一小部分。小模型眾多，除了說人話以外，能不能把這些小模型工具有機的整合起來？是落地過程中很重要的一個問題，也是大家關注的。
不久之前，比爾蓋茨在博客發表了一篇文章，核心內容提到 AI Agent 即將徹底改變人類使用計算機的方式，會有各種各樣的AI助手幫你定差旅、做各種事情。那么落實到運維領域，這種智能體可能是助理、教練、顧問、參謀、內部專家等等，但是要落實到這樣的角色上，絕對不是說簡單的翻譯能力，一定是具備多重且復雜的能力。
這是一篇英文版的學術論文，他試圖總結智能體的概念。大語言模型只是左上角的一小部分，而框內的整體是一個智能體Agent，它會跟外界進行實時的交互，除了對話以外，還要感知世界、了解世界、采取行動干預世界。將上述關系抽象出來，就是右邊的流程圖：感知世界、做出判斷、做出選擇、進行執行，然后再重新感知，這就是智能體大概的概念。那么大語言模型落到運維領域，就需要運維的大語言模型：
- 具有語義記憶，也可以認為是各種結構化的知識，包括基于知識圖譜的方式，或者拓撲數據庫的方式，來存儲語義知識；
- 具有情景性記憶，類似于歷史數據中的歷史工單、告警、操作記錄等；
- 同時需要支持各種決策，比如要做排查故障，類似醫學一步一步排查，需要包含決策的機制；
- 可以實現感知，比如一個人形機器人，要有視覺和聽覺，對于運維來說，要針對不同模態的運維數據，有各種算法等等。
總結后會發現，過去說的智能運維的小工具，在智能體的架構里面，可能有些是 plug-in、有些是知識、有些是隨機文檔或情景性的數據、有些是邏輯等等，這些整體構成大的智能體。
02
百模大戰，各個底座大模型的性能評測我們針對主流的大語言模型做了統一測評，形成了一個榜單。將大模型在我們的GPU集群上進行系統性的評測，比如說 Zero-shot，3-shot，然后再加上思維鏈，和其他的機制。
上圖是評測的結果，在運維領域聯合中興、華為、騰訊、聯想等十多家機構出了一萬道題，從結果來看基本分成三檔，GPT 4和GPT 3.5屬于第一梯隊，中間部分屬于第二梯隊，更早期的一些版本屬于第三梯隊。運維的細分領域中，會發現結果還是有參差不齊的地方。所以大家會存在一些困惑，大模型底座是怎么選？通識大模型聽不懂運維語言，那能聽懂運維語言的大語言模型是一個什么概念呢？參照現在的大語言模型，在行業應用中基本上分三層：第一層是大模型的底座，第二層是行業的大語言模型，第三層是私有部署的大語言模型，有些行業領域會認為第三層是面向場景的，基本差異不大。
03
運維領域大模型應用的不足和挑戰
首先，大語言模型在運維領域的普遍落地中，需要避免過于樂觀，因為它還存在不少的技術挑戰。1）運維領域，對錯誤容忍度低，需要盡量避免幻覺產生；2）垂直領域內判斷答案對錯的標注門檻比較高，想進行微調，得請專家來提供標準的問答；3）對于結果要求必須可解釋性強，又要支持低開銷的私有部署；4）落地過程中運維語料還有不足，特別是私有語料，質量和數量都不足；5）針對存量中大量的結構化知識怎么融合，大語言模型無法直接處理結構化的、多模態的、實時的數據；6）如何結合大量存量的運維工具。同時，也要避免悲觀，前述所有的技術挑戰都有技術思路可以解決。
1）為了避免幻覺和做到可解釋性強，可以通過檢索增強，增大顯式知識占比，類似知識圖譜的方式。具體操作可以有思維鏈、思維樹、思維圖、知識圖譜。同時為了增強可解釋性，要用“有據可依”的生成策略提供可解釋性；2）嚴肅語料不足的問題，可以通過由易到難課程學習的方式進行訓練；3）私有部署開銷低，以及私域數據的數量質量不足，可以在剛才說的模型分層中，在第三層盡量不做預訓練，甚至微調都要謹慎，因為可能各方面資源和數據都不夠，然后在公域數據做運維的預訓練，微調一部分的提示工程，把它做到盡量的好，再私有部署。檢索結合本地知識庫，文檔提示可以作為便捷的知識工程手段，同時在實際進行推理的時候也需要資源，通過降低模型的精度，從而降低私有部署的推理開銷；4）在底座選型的時候，盡量與開源大語言模型的底座解耦，將來萬一要做底座替換的時候，只需要付出重新訓練的成本，但是之前所有的探索可能都是能夠保留、積累、沉淀下來的；5）對于結構化、多模態、實時數據的處理，可以有專門的多模態基礎模型群、AIOps結構化大模型；6）關于結合自動化運維工具，可以利用智能體的方式，把已有的工具結合在一起；這是大致的思路，在具體應用的時候，其實不求全面開花，而是小步快跑。
04
運維大語言模型的應用舉例有了大語言模型，近中期應用的定位，我認為可能以助理、教練、顧問、參謀這種方式，不做拍板、不做決策、不做處置，只提各種建議。中長期的應用，可能變成了內部專家，可以做一些處置和決策拍板。
應用1：數字化運維助手
這個助手只是問答，不直接對接數據，甚至可以從某個工具里截屏發圖給他，但是不做直接的數據對接，只是對類似排查故障的決策樹，對這種結構化的知識進行檢索。用戶可以問運維助手，故障可能的原因是什么，運維助手對著決策樹，一層一層的問下去，一直到最后發現是某個問題，就可以看直接怎么處置。
應用2：私有文檔的問答
大多數企業都有大量的運維排障文檔、應急手冊、產品手冊、API 文檔等等，但是其實使用的效果都不是很好。結合大語言模型，希望能夠把文檔統一通過大語言模型問答的方式獲取。這里不是單個文檔上傳后，可以進行單個文檔的問答，而是針對所有的問題，把所有的文檔結合在一起，介于檢索增強的方式，同時生成策略要有據可依。
應用3：腳本解讀
對存量的腳本進行文字解讀，這個腳本可以是SQL、圖SQL、日志查詢語句、命令行的腳本、配置，可以用于培訓，新員工進來之后，節省高級別的專家時間，提升效率。
應用4：數據注釋
例如系統提示告警，產生了一段日志，里邊有各種字段，那對它進行有效的解釋，這里用自然語言的方式表達出來，也是比較常見的一種應用。有很多工具，比如告警工具，國內、國外都已經在做這個工作了；在安全領域，有很多安全的設備，告警也都在這方面做了一些嘗試，我覺得這個是切實可行的。
應用5：近中期與中長期應用
近中期的應用，可以通過自然語言變成各種的查詢，可能是企業內的API，也可能是公網的API，也可以是生成SQL，生成圖SQL 。這里相對前面的應用來說會稍微謹慎一點，數據要標準化，工具接口要標準化。因為從腳本和配置進行解釋，差一點關系不大。但是反過來，像 SQL 這類參數差一點，可能結果是不對的。再往后的應用，就可以結合前面說的智能體了。
前面是為單個的工具進行增強，那如果有一個復雜的任務，基于大語言模型，對實時的故障工單進行自動的生成。這里展示的是谷歌 SRE 那本書里面的內容，比如現在出了一個故障，現在事故的實時故障文檔里面，自動生成了一條記錄，過一會兒這個系統做了一些操作，它再自動的生成一條，大致判斷是哪里出現了問題，正在進行什么排查，但是還沒有結論，一直繼續，直到這個問題被解決。你可以想象這是一個非常復雜的任務，它一定是智能體的感覺，需要結合大量已經拆解的工具、智能運維的算法、結構化的語義、知識圖譜，以及場景化的小算法，再進行結合編排，然后推理、交互，有時甚至需要干預一下，然后看看結果怎么樣，再回來判斷。甚至有些檢查是觸發式的，要跟外界交互，最后輸結果。AIOps小模型的工具，在大模型時代是一個共生、互相促進、互相補充，最后構成了大模型時代智能體的解決方案。
05
大模型在AIOps領域的應用落地路徑總結
面對運維大模型，仍然面臨不少挑戰，需要避免過于樂觀，但同時這些挑戰也都有解決方式，也要避免過于悲觀。
應用的定位建議先從助手開始，可能是幫著做一些工作，然后是培訓的教練、顧問、參謀，最后是內部專家。上面也舉了一些近期的例子，比如數字化的運維助手、私有運維文檔的問答、腳本解讀注釋、運維數據注釋等等。對于近中期，單個運維工具可以進行自然語言交互增強。對于中長期，基于智能體編排多個工具，完成更復雜的運維任務。整體而言，我個人的觀點認為大模型的時代已經切切實實的到來，我們需要持謹慎樂觀的態度，因為它是大勢所趨，前景非?？善?，機遇挑戰并存，同時我們也需要協同創新，以用促建。
06
專家對話：互動問答
以上就是今天的分享，如需獲取完整版視頻實錄和課件可掃碼領取。
⩓
長按二維碼，領取完整版視頻實錄和課件
裴丹博士的主要研究方向是智能運維（AIOps）。裴博士在美國UCLA獲得了博士學位，之后加入美國AT&T研究院擔任資深研究員、主任研究員。裴博士在智能運維領域發表了約200篇學術論文和30多項專利授權。他是CCF AIOps算法挑戰賽的創辦者。他目前是計算機網絡領域旗艦期刊IEEE/ACM Transactions on Networking 的編委，并曾擔任IEEE計算機網絡領域旗艦會議ICNP 2022的技術程序委員會主席。
注：點擊左下角“閱讀原文”，領取專家完整版視頻實錄和分享課件。
京公網安備 11010802036102號