色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度 | 性能全面超數據庫專家,騰訊基于機器學習的性能優化系統

WpOh_rgznai100 ? 來源:YXQ ? 2019-06-19 10:00 ? 次閱讀

騰訊與華中科技大學合作的最新研究成果入選了國際數據庫頂級會議SIGMOD的收錄論文,并將于6月30日在荷蘭阿姆斯特丹召開SIGMOD 2019國際會議上公開發表。

入選論文的題目為“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”,此項研究突破性的實現了基于AI技術的數據庫性能調優結果首次全面超越數據庫專家經驗判斷的傳統方法。該成果由華中科技大學武漢光電國家研究中心周可教授團隊和騰訊技術工程事業群云架構平臺部CDB數據庫團隊合作完成,博士生張霽為第一作者。

智能云存儲技術聯合研究中心由騰訊與華中科技大學于2018年成立,旨在通過強強聯合,建設一流的智能云存儲技術創新和人才培養平臺。通過吸引匯聚頂尖專業人才,騰訊與華中科技大學在分布式存儲技術、高性能存儲引擎、業務負載預測等方面開展聯合技術攻關,突破超大規模云存儲服務系統的諸多技術難題,推動智能云存儲技術的科技創新及技術應用落地。本次入選的論文,正是智能云存儲技術聯合研究中心的聯合研究成果之一。

SIGMOD數據管理國際會議是數據庫領域具有最高學術地位的國際性學術會議,位列數據庫方向頂級會議之首。

隨著云計算的迅速發展,中小型企業通過購買云數據庫服務系統,來代替自建和維護數據庫服務系統的情況越來越多,以便節約人力物力。然而,大多數用戶在購買云數據庫服務系統后僅僅停留在使用層面上,在使用過程中經常遇到數據庫系統性能下降的情況。

由于缺少數據庫管理系統性能優化的經驗,用戶很難發現導致數據庫系統性能下降的原因并有效地解決,這就需要云服務提供商為用戶及時地調整數據庫系統參數,以保證數據庫的性能維持在一個較優的狀態。對于擁有數十萬計用戶實例的云服務提供商來說,完全依賴數據庫專家進行數據庫參數調優顯然是不現實的,如何利用AI技術解決數據庫系統性能問題已經變得越來越重要和緊迫。

該文首次提出了一種基于深度強化學習的端到端的云數據庫自動性能優化系統CDBTune,如圖1所示。該系統可以在缺少相關經驗數據訓練的情況下建立優化模型,為云數據庫用戶提供在線自動優化數據庫性能的服務,性能調優結果首次全面超越數據庫專家,這將大幅提高數據庫運維效率。

圖1 強化學習與數據庫性能優化關系圖

如圖2所示,在多種不同負載和不同類型的數據庫下進行的大量實驗證明,CDBTune性能優化結果明顯優于目前已有數據庫調優工具和DBA專家。即使在彈性云環境下,用戶購買數據庫內存或磁盤大小發生變化,或負載發生變化(類型不變)的情況下,實驗證明CDBTune依然保持了較好的適應能力。

圖2 CDBTune性能測試結果

在實際系統中,如圖3所示,當用戶或者系統管理員有數據庫性能優化需求時,可以通過相應的交互接口提出調參優化請求,此時云端的控制器通過給智能優化系統發出調參請求,并根據用戶真實負載建立的深度強化學習模型推薦出的相應的參數配置,然后將該配置在數據庫中進行設置。反復執行上述的執行過程,直到待調參的數據庫性能滿足用戶或系統管理員的需求即停止調參。

圖3 CDBTune系統交互圖

對于該論文,SIGMOD評審委員的評價是:“本文是關于利用機器學習方法優化數據庫的技術,這是一個令人振奮的新領域。特別是它使用了強化學習的方法。這篇文章不僅僅是簡單地拋出一個機器學習技術,而且非常好地解釋了機器學習是如何與特定的問題進行完全的匹配,同時也闡述了與傳統機器學習術語之間的類比問題。鑒于在數據庫社區中并非每個人都能對這些技術了如指掌,這也是一種教學方式,因此我們非常贊賞這篇文章。”

每年SIGMOD會議都會吸引大量全球學術組織和工業界數據庫研究人員參會和分享,也匯聚了學術界和工業界在數據庫領域最前沿的技術研究動向。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 騰訊
    +關注

    關注

    7

    文章

    1666

    瀏覽量

    49535
  • 機器學習
    +關注

    關注

    66

    文章

    8438

    瀏覽量

    132898

原文標題:性能全面超數據庫專家,騰訊提基于機器學習的性能優化系統 | SIGMOD 2019

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    數據庫是哪種數據庫類型?

    數據庫是一種部署在虛擬計算環境中的數據庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數據庫服務。云數據庫主要分為兩大類:關系型數據庫
    的頭像 發表于 01-07 10:22 ?118次閱讀

    SSM框架的性能優化技巧 SSM框架中RESTful API的實現

    : 緩存可以顯著提高系統的響應速度。 在SSM中,可以使用Redis或Memcached等緩存技術來緩存頻繁訪問的數據,如數據庫查詢結果、用戶信息等。 同時,也可以利用Spring Cache抽象層來簡化
    的頭像 發表于 12-17 09:10 ?240次閱讀

    Arm成功將Arm KleidiAI軟件集成到騰訊自研的Angel 機器學習框架

    Arm 與騰訊攜手合作,成功將 Arm KleidiAI 軟件集成到騰訊自研的 Angel 機器學習框架。 ? 借助 KleidiAI 解
    的頭像 發表于 11-24 15:33 ?744次閱讀

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫包含兩個LDF文件。 存儲損壞,數據庫
    的頭像 發表于 10-31 13:21 ?292次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    MySQL性能優化淺析及線上案例

    作者:京東健康 孟飛 1、 數據庫性能優化的意義 業務發展初期,數據庫中量一般都不高,也不太容易出一些性能問題或者出的問題也不大,但是當
    的頭像 發表于 10-22 15:17 ?719次閱讀
    MySQL<b class='flag-5'>性能</b><b class='flag-5'>優化</b>淺析及線上案例

    企業級數據庫的配置和管理要求匯總

    企業級數據庫配置需高性能硬件支撐,包括服務器、存儲、網絡及電源冗余,選用穩定DBMS與操作系統,注重索引與查詢優化。管理上,強調數據安全,實
    的頭像 發表于 09-27 10:50 ?230次閱讀

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?387次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    軟通動力數據庫全棧服務,助力企業數據庫體系全面升級

    。在企業節與"數博會"展區,軟通動力受邀分享數據庫專業服務全棧解決方案,并重點展示以全棧云服務為核心的數智化能力。 軟通動力高級數據庫服務專家劉江云在開放演講中,分享了軟通動力數據庫
    的頭像 發表于 09-05 15:30 ?362次閱讀
    軟通動力<b class='flag-5'>數據庫</b>全棧服務,助力企業<b class='flag-5'>數據庫</b>體系<b class='flag-5'>全面</b>升級

    軟件系統數據庫的分庫分表設計

    軟件系統數據庫的分庫分表設計 系統讀寫分離、分庫分表技術實現采用MyCat中間件,MyCat 是一款開源(遵循 Apache License 2.0 協議)的大數據庫集群中間件,用于搭
    的頭像 發表于 08-22 11:39 ?352次閱讀
    軟件<b class='flag-5'>系統</b><b class='flag-5'>數據庫</b>的分庫分表設計

    恒訊科技分析:跨境電商網站有哪些數據庫系統是推薦使用的?

    對于跨境電商網站,數據庫系統的選擇非常關鍵,以下是一些推薦使用的數據庫系統: 1、MySQL:MySQL是一個流行的開源關系型數據庫管理系統,廣泛用于Web應用開發。它以其高
    的頭像 發表于 08-12 15:01 ?421次閱讀

    數據庫安全審計系統:筑牢數據安全防線 提高數據資產安全

    隨著萬物互聯的技術演進,以及數字化轉型的快速發展,數據庫成為最具有戰略性的數字資產載體,保障數據庫安全也就保障了存儲其中的數據安全,數據庫安全審計是對
    的頭像 發表于 07-17 13:38 ?811次閱讀

    小米試點業務系統上線OceanBase,數據庫性能飛躍新高度

    逐漸顯露出性能瓶頸和運維成本高昂的問題。為此,小米集團于2023年10月做出了重要戰略決策,引入螞蟻集團自主研發的OceanBase分布式數據庫,以期在數據庫性能、穩定性及成本效益上實
    的頭像 發表于 07-03 15:39 ?697次閱讀

    深度學習的模型優化與調試方法

    深度學習模型在訓練過程中,往往會遇到各種問題和挑戰,如過擬合、欠擬合、梯度消失或爆炸等。因此,對深度學習模型進行優化與調試是確保其
    的頭像 發表于 07-01 11:41 ?935次閱讀

    雙向賦能:AI與數據庫的修行之道

    雖然硬件性能的提升為數據庫處理海量數據提供了基礎,但要真正發揮這些算力,需要對數據庫內核進行深度優化
    的頭像 發表于 06-28 23:07 ?498次閱讀
    雙向賦能:AI與<b class='flag-5'>數據庫</b>的修行之道

    性能優化之路總結

    思想:批量操作數據庫,這個很好理解,我們在循環插入場景的接口中,可以在批處理執行完成后一次性插入或更新數據庫,避免多次IO。 //批量入庫 batchInsert(); 2.異步處理 異步思想:針對耗時比較長且不是結果必須的邏輯,我們可以考慮放到
    的頭像 發表于 06-17 15:00 ?364次閱讀
    主站蜘蛛池模板: 特污兔午夜影视院| 久久精品黄色| 国产AV电影区二区三区曰曰骚网| 国产成人精品久久一区二区三区| 精品无人区麻豆乱码无限制| 日本一区精品久久久久影院| 亚洲性爱城| 国产成人精品综合在线| 快播金瓶梅| 亚洲国产精品免费观看| 被强J高H纯肉公交车啊| 久久国产精品麻豆AV影视| 熟妇内谢69XXXXXA片| 99久久国产宗和精品1上映| 黄色天堂网| 香蕉久久日日躁夜夜嗓| 999久久久国产| 九九热在线视频| 无限好资源免费观看| 成人在线小视频| 免费人成视频X8X8国产更快乐 | 强奸美女老师| 在线日本高清日本免费| 国产亚洲视频在线播放香蕉| 少妇被阴内射XXXB少妇BB| FREE17一18外女破| 妺妺窝人体色777777野大粗| 怡春院院日本一区二区久久| 黄色片中文| 亚洲网站视频在线观看| 国产人A片在线乱码视频| 天天日免费观看视频一1| 荡乳乱公小说| 日韩中文亚洲欧美视频二| 超大BBWWW| 日本无吗高清| 二级毛片在线观看| 挺弄抽插喷射HH| 国产亚洲精品久久无亚洲| 午夜国产理论| 狠狠久久免费视频在线|