色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度 | 性能全面超數據庫專家,騰訊基于機器學習的性能優化系統

WpOh_rgznai100 ? 來源:YXQ ? 2019-06-19 10:00 ? 次閱讀

騰訊與華中科技大學合作的最新研究成果入選了國際數據庫頂級會議SIGMOD的收錄論文,并將于6月30日在荷蘭阿姆斯特丹召開SIGMOD 2019國際會議上公開發表。

入選論文的題目為“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”,此項研究突破性的實現了基于AI技術的數據庫性能調優結果首次全面超越數據庫專家經驗判斷的傳統方法。該成果由華中科技大學武漢光電國家研究中心周可教授團隊和騰訊技術工程事業群云架構平臺部CDB數據庫團隊合作完成,博士生張霽為第一作者。

智能云存儲技術聯合研究中心由騰訊與華中科技大學于2018年成立,旨在通過強強聯合,建設一流的智能云存儲技術創新和人才培養平臺。通過吸引匯聚頂尖專業人才,騰訊與華中科技大學在分布式存儲技術、高性能存儲引擎、業務負載預測等方面開展聯合技術攻關,突破超大規模云存儲服務系統的諸多技術難題,推動智能云存儲技術的科技創新及技術應用落地。本次入選的論文,正是智能云存儲技術聯合研究中心的聯合研究成果之一。

SIGMOD數據管理國際會議是數據庫領域具有最高學術地位的國際性學術會議,位列數據庫方向頂級會議之首。

隨著云計算的迅速發展,中小型企業通過購買云數據庫服務系統,來代替自建和維護數據庫服務系統的情況越來越多,以便節約人力物力。然而,大多數用戶在購買云數據庫服務系統后僅僅停留在使用層面上,在使用過程中經常遇到數據庫系統性能下降的情況。

由于缺少數據庫管理系統性能優化的經驗,用戶很難發現導致數據庫系統性能下降的原因并有效地解決,這就需要云服務提供商為用戶及時地調整數據庫系統參數,以保證數據庫的性能維持在一個較優的狀態。對于擁有數十萬計用戶實例的云服務提供商來說,完全依賴數據庫專家進行數據庫參數調優顯然是不現實的,如何利用AI技術解決數據庫系統性能問題已經變得越來越重要和緊迫。

該文首次提出了一種基于深度強化學習的端到端的云數據庫自動性能優化系統CDBTune,如圖1所示。該系統可以在缺少相關經驗數據訓練的情況下建立優化模型,為云數據庫用戶提供在線自動優化數據庫性能的服務,性能調優結果首次全面超越數據庫專家,這將大幅提高數據庫運維效率。

圖1 強化學習與數據庫性能優化關系圖

如圖2所示,在多種不同負載和不同類型的數據庫下進行的大量實驗證明,CDBTune性能優化結果明顯優于目前已有數據庫調優工具和DBA專家。即使在彈性云環境下,用戶購買數據庫內存或磁盤大小發生變化,或負載發生變化(類型不變)的情況下,實驗證明CDBTune依然保持了較好的適應能力。

圖2 CDBTune性能測試結果

在實際系統中,如圖3所示,當用戶或者系統管理員有數據庫性能優化需求時,可以通過相應的交互接口提出調參優化請求,此時云端的控制器通過給智能優化系統發出調參請求,并根據用戶真實負載建立的深度強化學習模型推薦出的相應的參數配置,然后將該配置在數據庫中進行設置。反復執行上述的執行過程,直到待調參的數據庫性能滿足用戶或系統管理員的需求即停止調參。

圖3 CDBTune系統交互圖

對于該論文,SIGMOD評審委員的評價是:“本文是關于利用機器學習方法優化數據庫的技術,這是一個令人振奮的新領域。特別是它使用了強化學習的方法。這篇文章不僅僅是簡單地拋出一個機器學習技術,而且非常好地解釋了機器學習是如何與特定的問題進行完全的匹配,同時也闡述了與傳統機器學習術語之間的類比問題。鑒于在數據庫社區中并非每個人都能對這些技術了如指掌,這也是一種教學方式,因此我們非常贊賞這篇文章。”

每年SIGMOD會議都會吸引大量全球學術組織和工業界數據庫研究人員參會和分享,也匯聚了學術界和工業界在數據庫領域最前沿的技術研究動向。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 騰訊
    +關注

    關注

    7

    文章

    1678

    瀏覽量

    49932
  • 機器學習
    +關注

    關注

    66

    文章

    8467

    瀏覽量

    133651

原文標題:性能全面超數據庫專家,騰訊提基于機器學習的性能優化系統 | SIGMOD 2019

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦

    Ringbuffer的性能優化方法

    Ringbuffer(循環緩存)是軟件中非常常用的數據結構之一, 在互聯網應用、數據庫應用等中使用廣泛。處理器執行 Ringbuffer 的效率與其存儲系統處理共享數據
    的頭像 發表于 03-24 16:03 ?378次閱讀
    Ringbuffer的<b class='flag-5'>性能</b><b class='flag-5'>優化</b>方法

    數據庫是哪種數據庫類型?

    數據庫是一種部署在虛擬計算環境中的數據庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數據庫服務。云數據庫主要分為兩大類:關系型數據庫
    的頭像 發表于 01-07 10:22 ?299次閱讀

    SSM框架的性能優化技巧 SSM框架中RESTful API的實現

    : 緩存可以顯著提高系統的響應速度。 在SSM中,可以使用Redis或Memcached等緩存技術來緩存頻繁訪問的數據,如數據庫查詢結果、用戶信息等。 同時,也可以利用Spring Cache抽象層來簡化
    的頭像 發表于 12-17 09:10 ?490次閱讀

    Arm成功將Arm KleidiAI軟件集成到騰訊自研的Angel 機器學習框架

    Arm 與騰訊攜手合作,成功將 Arm KleidiAI 軟件集成到騰訊自研的 Angel 機器學習框架。 ? 借助 KleidiAI 解
    的頭像 發表于 11-24 15:33 ?971次閱讀

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫包含兩個LDF文件。 存儲損壞,數據庫
    的頭像 發表于 10-31 13:21 ?508次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    MySQL性能優化淺析及線上案例

    作者:京東健康 孟飛 1、 數據庫性能優化的意義 業務發展初期,數據庫中量一般都不高,也不太容易出一些性能問題或者出的問題也不大,但是當
    的頭像 發表于 10-22 15:17 ?894次閱讀
    MySQL<b class='flag-5'>性能</b><b class='flag-5'>優化</b>淺析及線上案例

    企業級數據庫的配置和管理要求匯總

    企業級數據庫配置需高性能硬件支撐,包括服務器、存儲、網絡及電源冗余,選用穩定DBMS與操作系統,注重索引與查詢優化。管理上,強調數據安全,實
    的頭像 發表于 09-27 10:50 ?331次閱讀

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?502次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    軟通動力數據庫全棧服務,助力企業數據庫體系全面升級

    。在企業節與"數博會"展區,軟通動力受邀分享數據庫專業服務全棧解決方案,并重點展示以全棧云服務為核心的數智化能力。 軟通動力高級數據庫服務專家劉江云在開放演講中,分享了軟通動力數據庫
    的頭像 發表于 09-05 15:30 ?442次閱讀
    軟通動力<b class='flag-5'>數據庫</b>全棧服務,助力企業<b class='flag-5'>數據庫</b>體系<b class='flag-5'>全面</b>升級

    軟件系統數據庫的分庫分表設計

    軟件系統數據庫的分庫分表設計 系統讀寫分離、分庫分表技術實現采用MyCat中間件,MyCat 是一款開源(遵循 Apache License 2.0 協議)的大數據庫集群中間件,用于搭
    的頭像 發表于 08-22 11:39 ?452次閱讀
    軟件<b class='flag-5'>系統</b><b class='flag-5'>數據庫</b>的分庫分表設計

    數據庫安全審計系統:筑牢數據安全防線 提高數據資產安全

    隨著萬物互聯的技術演進,以及數字化轉型的快速發展,數據庫成為最具有戰略性的數字資產載體,保障數據庫安全也就保障了存儲其中的數據安全,數據庫安全審計是對
    的頭像 發表于 07-17 13:38 ?1226次閱讀

    小米試點業務系統上線OceanBase,數據庫性能飛躍新高度

    逐漸顯露出性能瓶頸和運維成本高昂的問題。為此,小米集團于2023年10月做出了重要戰略決策,引入螞蟻集團自主研發的OceanBase分布式數據庫,以期在數據庫性能、穩定性及成本效益上實
    的頭像 發表于 07-03 15:39 ?808次閱讀

    深度學習的模型優化與調試方法

    深度學習模型在訓練過程中,往往會遇到各種問題和挑戰,如過擬合、欠擬合、梯度消失或爆炸等。因此,對深度學習模型進行優化與調試是確保其
    的頭像 發表于 07-01 11:41 ?1278次閱讀

    雙向賦能:AI與數據庫的修行之道

    雖然硬件性能的提升為數據庫處理海量數據提供了基礎,但要真正發揮這些算力,需要對數據庫內核進行深度優化
    的頭像 發表于 06-28 23:07 ?568次閱讀
    雙向賦能:AI與<b class='flag-5'>數據庫</b>的修行之道

    性能優化之路總結

    思想:批量操作數據庫,這個很好理解,我們在循環插入場景的接口中,可以在批處理執行完成后一次性插入或更新數據庫,避免多次IO。 //批量入庫 batchInsert(); 2.異步處理 異步思想:針對耗時比較長且不是結果必須的邏輯,我們可以考慮放到
    的頭像 發表于 06-17 15:00 ?435次閱讀
    主站蜘蛛池模板: 777米奇色狠狠俺去啦 | 中文字幕在线不卡精品视频99 | 含羞草在线 | 黑吊大战白xxxxxx | 超碰高清熟女一区二区 | 两个人的视频日本在线观看完整 | 国产综合18久久久久久软件 | 国内精品久久久久影院老司 | 456亚洲人成在线播放网站 | 国产在线观看成人免费视频 | 91传媒蜜桃香蕉在线观看 | 亚洲AV久久无码精品蜜桃 | 扒开美女下面粉嫩粉嫩冒白浆 | 野花韩国免费高清电影 | 自拍黄色片 | 最新日本免费一区 | 贵妃高h荡肉呻吟np杨玉环 | 做暖暖视频在线看片免费 | 漂亮的保姆5电影免费观看完整版中文 | 成人在线视频播放 | 广东95后小情侣酒店自拍流出 | 国产精品美女久久久久AV超清 | 在线播放日韩欧美亚洲日本 | 51vv视频社区 | 最新黄色在线 | 色在线视频亚洲欧美 | 久久伊人精品青青草原2021 | 99热这里只有 精品 99热这里只就有精品22 | 性插图动态图无遮挡 | 早乙女由依在线观看 | 岛国精品在线观看 | 男生射女生| 亚洲欧美激情精品一区二区 | 伊人影院综合在线 | 久久re热在线视频精99 | 国内精品视频在线播放一区 | 亚洲精品成人在线 | 久久精品日本免费线 | 午夜性色一区二区三区不卡视频 | 国产福利不卡在线视频 | 无码99久热只有精品视频在线 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品