科技日?qǐng)?bào)記者 張佳星
“10年前，亞馬遜云科技上線數(shù)據(jù)存儲(chǔ)服務(wù)，當(dāng)時(shí)容量超過(guò)1PB（百萬(wàn)GB）的客戶還不到100家?！?2月18日，亞馬遜云科技re:Invent 2024中國(guó)行舉行，亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建在會(huì)上介紹，十年過(guò)去了，已經(jīng)有超過(guò)數(shù)千家的客戶擁有了超過(guò)PB的數(shù)據(jù)，甚至有些客戶的數(shù)據(jù)量已超過(guò)了一個(gè)EB(1024PB）。
數(shù)據(jù)的爆炸性增長(zhǎng)帶來(lái)一系列新的數(shù)據(jù)處理挑戰(zhàn)。如何有效檢索、獲取數(shù)據(jù)價(jià)值，如何高效調(diào)用目標(biāo)數(shù)據(jù)挑戰(zhàn)著數(shù)據(jù)管理者的管理能力。尤其是當(dāng)生成式人工智能對(duì)于數(shù)據(jù)應(yīng)用的需求正在指數(shù)倍增加，對(duì)數(shù)據(jù)的高效管理將成為數(shù)據(jù)挖掘、人工智能計(jì)算的有力支撐。
“數(shù)據(jù)分析和AI應(yīng)用，需要一種高效的存儲(chǔ)模式以進(jìn)行大數(shù)據(jù)的分析和處理?！标悤越ū硎?，為此，在管理數(shù)據(jù)時(shí)需要有效的存儲(chǔ)壓縮工具和編碼技術(shù)，以解決數(shù)據(jù)隨時(shí)可以高效讀取與高度壓縮存放之間的“兩難”問(wèn)題。
據(jù)介紹，存儲(chǔ)服務(wù)通過(guò)增加相關(guān)功能增強(qiáng)數(shù)據(jù)處理能力，推出專為特別數(shù)據(jù)類型設(shè)計(jì)的存儲(chǔ)類型，將查詢性能提升3倍，事務(wù)處理能力提升10倍。陳曉建表示，通過(guò)這種開(kāi)源的高性能模式，亞馬遜云科技讓用戶在數(shù)據(jù)庫(kù)就能“指揮”數(shù)據(jù)執(zhí)行系統(tǒng)的操作，比如說(shuō)讓不同的用戶在各種分析引擎上，都能夠安全地處理一份文件。
與此同時(shí)，隨著機(jī)器學(xué)習(xí)和人工智能分析能力的增強(qiáng)，越來(lái)越多的客戶不再孤立地使用數(shù)據(jù)，而是通過(guò)不同的數(shù)據(jù)分析工具，打通數(shù)據(jù)孤島，隨時(shí)調(diào)用想要的數(shù)據(jù)，形成更綜合的分析能力。
“例如，每個(gè)人的手機(jī)上都有成千上萬(wàn)張照片，那么我們?cè)趺茨軌蚩焖僬业揭粡埾胍恼掌?？”陳曉建解釋，事?shí)上每個(gè)照片都有自己的元數(shù)據(jù)，只需要在存儲(chǔ)照片時(shí)將照片特有的元數(shù)據(jù)提取出來(lái)，就可以服務(wù)于后續(xù)的計(jì)算。為此，Amazon S3新增Metadata元數(shù)據(jù)功能，實(shí)現(xiàn)“元數(shù)據(jù)”的自動(dòng)獲取和實(shí)時(shí)更新，幫助用戶在多維數(shù)據(jù)中，形成統(tǒng)一的檢索平臺(tái)，用于對(duì)不同格式、不同模態(tài)數(shù)據(jù)的統(tǒng)一處理。
“元數(shù)據(jù)的管理，首先需要建立起一個(gè)存儲(chǔ)對(duì)象的清單，再建立起一個(gè)數(shù)據(jù)導(dǎo)入的管道，構(gòu)建一個(gè)專門(mén)的數(shù)據(jù)庫(kù)，通過(guò)設(shè)計(jì)特別的程序，實(shí)現(xiàn)原始數(shù)據(jù)與元數(shù)據(jù)之間的數(shù)據(jù)打通?！?/p>
陳曉建解釋，亞馬遜云科技通過(guò)創(chuàng)新“元數(shù)據(jù)”服務(wù)，幫助客戶自動(dòng)創(chuàng)建可查詢?cè)獢?shù)據(jù)，大幅提升了數(shù)據(jù)利用效率。
存儲(chǔ)之外，客戶往往使用多種數(shù)據(jù)分析工具來(lái)獲取洞察。為此，亞馬遜云科技在其新一代的機(jī)器學(xué)習(xí)服務(wù)中將各種數(shù)據(jù)分析工具統(tǒng)一到一個(gè)集成平臺(tái)，為客戶提供單一的數(shù)據(jù)和AI開(kāi)發(fā)環(huán)境。
羅氏是一家制藥和診斷領(lǐng)域的企業(yè)，該公司將使用亞馬遜云科技新一代機(jī)器學(xué)習(xí)服務(wù)中的數(shù)據(jù)湖倉(cāng)功能來(lái)統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖等不同來(lái)源的數(shù)據(jù)，消除數(shù)據(jù)孤島，增強(qiáng)團(tuán)隊(duì)之間的協(xié)作，并允許用戶無(wú)縫利用數(shù)據(jù)，無(wú)需昂貴的數(shù)據(jù)移動(dòng)或重復(fù)的安全訪問(wèn)控制。借助新的統(tǒng)一數(shù)據(jù)平臺(tái)，羅氏預(yù)計(jì)數(shù)據(jù)處理時(shí)間將減少40%，這讓他們減少數(shù)據(jù)管理工作，而將精力更多用于推動(dòng)業(yè)務(wù)發(fā)展。
據(jù)介紹，從人工智能前沿探索到金融風(fēng)險(xiǎn)把控、從數(shù)字娛樂(lè)體驗(yàn)優(yōu)化到制藥診斷科學(xué)推進(jìn)，不斷迭代的云服務(wù)正助力各行各業(yè)加速創(chuàng)新。大會(huì)不僅發(fā)布了數(shù)據(jù)存儲(chǔ)方面的創(chuàng)新，還包括云的核心服務(wù)層面的持續(xù)創(chuàng)新，以及從芯片到模型的新突破。陳曉建認(rèn)為，全棧聯(lián)動(dòng)的大規(guī)模創(chuàng)新才能真正滿足當(dāng)今客戶的發(fā)展需求，加速前沿技術(shù)的價(jià)值釋放，助力各行各業(yè)重塑未來(lái)。
