智能化正在不斷顛覆傳統(tǒng)生產力。隨著數(shù)智時代的到來，AI技術在提升管理效率、降低運維成本等方面發(fā)揮著越來越重要的作用。當DB與AI相結合，數(shù)據(jù)庫產品也變得更加智能化。目前智能數(shù)據(jù)庫技術是業(yè)內的研究熱點，openGauss 作為國內數(shù)據(jù)庫根技術的重要一支，在這一領域取得了哪些成就？未來有哪些發(fā)展規(guī)劃？

2023年4月7-8日，由中國DBA聯(lián)盟（ACDU）和墨天輪社區(qū)聯(lián)合主辦的第十二屆“數(shù)據(jù)技術嘉年華”（DTC 2023）在北京新云南皇冠假日酒店成功召開。華為openGauss數(shù)據(jù)庫AI領域負責人李士福在【數(shù)智趨勢：智能運維與自治】專題論壇發(fā)表了題為 《openGauss：自駕駛數(shù)據(jù)庫內核》 的演講。本文根據(jù)演講實錄整理而成。

（嘉賓簡介：李士福，15年數(shù)據(jù)庫內核開發(fā)經驗，2014年加入華為高斯部，曾在Teradata研發(fā)中心從事分布式MPPDB數(shù)據(jù)庫研發(fā)。目前其主要負責GaussDB（含openGauss）自治數(shù)據(jù)庫內核的研發(fā)工作，包括DBMind自治運維系統(tǒng)、DB4AI庫內AI引擎和自學型內核；同時作為openGauss社區(qū)TC成員支撐openGauss社區(qū)拓展。）

一、openGauss自駕駛內核整體介紹

李士福表示，openGauss自駕駛內核整體上主要包含兩個子系統(tǒng)：AI4DB自治系統(tǒng)和DB4AI庫內AI引擎。

AI4DB自治系統(tǒng)主要又包含兩大部分：一個是DBMind自治運維系統(tǒng)，是給用戶、主要是DBA做自監(jiān)控、自診斷、自由化和自安全，其主要目標是方便用戶做系統(tǒng)的運維診斷，讓系統(tǒng)更高效、可靠運行；另一個是把AI技術嵌到數(shù)據(jù)庫內核之中，實現(xiàn)智能查詢重寫、代價估計、行數(shù)估計、計劃自適應選擇、負載自適應調度、自學習索引、緩存自適應淘汰等。

DB4AI庫內AI引擎則是指在數(shù)據(jù)庫內置很多AI算法，把AI能力直接內嵌到數(shù)據(jù)庫中，通過訓練和推理SQL語法、訓練語句執(zhí)行計劃及代價為數(shù)據(jù)庫提供AI能力，這樣能方便用戶使用訓練和推理的語句。同時DB4AI還可以提供算法API接口，供學習型內核組件調用，從而為庫內組件加速。

二、DBMind運維管理系統(tǒng)架構和應用

李士福指出，DBMind整體運維架構主要涵蓋四個方面：數(shù)據(jù)采集層作為底座，主要負責在數(shù)據(jù)庫運行節(jié)點上部署Agent采集節(jié)點，從而采集數(shù)據(jù)庫指標和OS指標，同時還負責執(zhí)行AI Service下發(fā)的運維管理命令。在數(shù)據(jù)計算層，數(shù)據(jù)庫外的節(jié)點可以在備機部署AI Service服務節(jié)點，同時有一些存儲的引擎，來實現(xiàn)數(shù)據(jù)計算存儲。自治服務層主要提供三大方面的自治服務：其一是SQL診斷調優(yōu)，包括慢SQL診斷、發(fā)現(xiàn)以及索引優(yōu)化等；其二是安全，提供異常行為檢測、敏感數(shù)據(jù)發(fā)現(xiàn)；其三是運維，即整個系統(tǒng)的運維診斷，包括參數(shù)調優(yōu)、系統(tǒng)分析診斷等。最頂層是監(jiān)控，通過端到端的監(jiān)控診斷、運維還有優(yōu)化，實現(xiàn)了從問題發(fā)現(xiàn)、問題診斷到問題優(yōu)化的全流程管控，對用戶來說是無感知的。

在DBMind自治運維系統(tǒng)層層嚴密的架構下，其有廣泛的應用。李士福透露，DBMind自治運維系統(tǒng)的應用主要聚焦于三個方面：索引推薦能力、慢SQL診斷和建議、多指標關聯(lián)分析。

索引推薦能力是指在數(shù)據(jù)庫內核中內置單條索引的推薦能力，來實現(xiàn)單條索引推薦，從而讓用戶很容易對一條語句實現(xiàn)索引加速。由于單條索引很難對整個系統(tǒng)有效，因此openGauss DBMind額外增加了對整個系統(tǒng)負載的索引推薦，通過對批量workload的采集、處理、壓縮后再進行單條索引推薦，從而降低索引推薦比例、提升整體效率。

慢SQL診斷和建議是在openGauss中集成的能力之一。在數(shù)據(jù)庫中，openGauss會識別哪些語句是慢SQL，然后采集慢SQL和它的相關指標特征。同時結合當前系統(tǒng)的運行狀況，比如CPU使用率和IO使用率等指標，把這些信息作為統(tǒng)一的集合進行訓練。訓練后形成的特征庫，可用于與之后遇到的慢SQL語句境進行智能匹配，最后把根因結果在界面上展示，同時給出優(yōu)化建議。

多指標關聯(lián)分析可以幫助我們快速發(fā)現(xiàn)問題。我們都知道，采集的指標是多種多樣的，一個指標的變動可能聯(lián)動其他指標也發(fā)生變化。目前openGauss施行了多種異常檢測算法，例如：持續(xù)增長、毛刺、周期性等。基于這些檢測算法觀察環(huán)境指標，可以發(fā)現(xiàn)指標間的關聯(lián)關系，從而確定影響關鍵指標的變化因素有哪些。

三、庫內AI引擎架構和應用

對DBMind整體運維架構進行了詳細的介紹后，李士福還分享了庫內AI引擎架構和應用方面的知識點。

DB4AI庫內AI引擎架構中，基于優(yōu)化路徑，openGauss可以展示當前AI算子的執(zhí)行路徑，讓用戶可以查看執(zhí)行計劃。其次是全流程業(yè)務管理，除了常見的模型管理，openGauss數(shù)據(jù)庫還支持通過系統(tǒng)表存儲管理模型。此外，還支持數(shù)據(jù)集管理，在數(shù)據(jù)更新變化的情況下，不影響當前訓練的模型。李士福透露，研發(fā)團隊還在做模型的漂移，去保證模型的新鮮度；進一步還將結合異構計算能力，將執(zhí)行算子下推到GPU去做穩(wěn)定訓練加速，從而構建起完整的DB4AI引擎架構。

DB4AI與不同的應用相結合，能幫助開發(fā)者提升工作效率。“在應用上，DB4AI給用戶提供交互式的界面，例如結合Jupyter做交互式的分析。因此，我們提供DB4AI Python庫，結合這個命令可以很容易地在交互界面上給用戶展示相關信息。這種可以使用Python的方式讓用戶很容易上手。”李士福說道。

目前DB4AI也積累了豐富的案例，例如庫內AI高效訓練和推理、模型自適應漂移。通過機器學習算法，完成可解釋模型；每個月采2000個樣板信息完成模型漂移，解決了模型與當前業(yè)務不擬合等問題。openGauss 在DB4AI方面的應用能極大地節(jié)省人力，降低成本。

此外，李士福還就智能優(yōu)化器架構做了簡要介紹。openGauss數(shù)據(jù)庫的智能優(yōu)化器主要完成四項任務：智能基數(shù)估計、自適應計劃選擇、智能代價模型、智能計劃探索。其中，他重點介紹了智能基數(shù)估計、自適應計劃選擇這兩項任務。智能基數(shù)估計是指結合AI算子對數(shù)據(jù)做分析和處理，改善了基于神經網(wǎng)絡算法的傳統(tǒng)方法很難落地的情況；自適應計劃選擇主要解決的是緩存計劃的使用問題。

在演講尾聲，李士福總結指出，AI與DB的結合其實是一個新興領域，目前openGauss在這一領域投入很多。AI與DB相結合能解決當前運維場景效率的問題，還可以提升用戶使用價值。后續(xù)，華為將持續(xù)深耕這一領域，并將研究成果持續(xù)應用至社區(qū)。