譯文 | 布加迪
在過去的50年里,關(guān)系數(shù)據(jù)庫一直是世界上一些最關(guān)鍵的應(yīng)用軟件的基礎(chǔ)。雖然市面上還有其他數(shù)據(jù)庫,比如鍵值數(shù)據(jù)庫、文檔數(shù)據(jù)庫和圖形數(shù)據(jù)庫,但關(guān)系數(shù)據(jù)庫依然是最受歡迎的。其主要原因是,SQL或關(guān)系數(shù)據(jù)庫語言對(duì)初學(xué)者來說學(xué)習(xí)起來很容易,對(duì)專家來說實(shí)施起來很高效。
然而隨著我們進(jìn)入人工智能新時(shí)代,存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)已經(jīng)不夠了。如今世界上80%的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù),包括原始文本、圖片、音頻、視頻及其他各種文件類型。這些非結(jié)構(gòu)化數(shù)據(jù)含有大量關(guān)鍵信息,我們無法使用當(dāng)前的關(guān)系數(shù)據(jù)庫系統(tǒng)來檢索這些信息。好消息是,機(jī)器學(xué)習(xí)領(lǐng)域的最新進(jìn)展使我們能夠以前所未有的方式來理解非結(jié)構(gòu)化數(shù)據(jù),我們可以利用這個(gè)機(jī)會(huì)使這項(xiàng)技術(shù)變得更普及。
面向非結(jié)構(gòu)化數(shù)據(jù)的關(guān)系數(shù)據(jù)庫
本文將介紹Superinsight,這是一種擁有內(nèi)置機(jī)器學(xué)習(xí)功能的關(guān)系數(shù)據(jù)庫。Superinsight讓了解SQL的任何人都可以針對(duì)非結(jié)構(gòu)化數(shù)據(jù)運(yùn)行查詢。
Superinsight的核心概念如下:
Superinsight建立在PostgreSQL之上,因此它擁有PostgreSQL的所有功能和機(jī)器學(xué)習(xí)能力。
Superinsight可自動(dòng)分析和索引存儲(chǔ)在數(shù)據(jù)類型為[TEXT]的列中的任何數(shù)據(jù)。
原始文本數(shù)據(jù)作為值來存儲(chǔ),而基于文件的數(shù)據(jù)(比如圖片)作為實(shí)際位置的引用來存儲(chǔ)。
安裝
Superinsight可以作為獨(dú)立機(jī)器來運(yùn)行,也可以作為Kubernetes之類的編排框架的一部分來運(yùn)行。本演示將使用獨(dú)立版本。
Docker是安裝Superinsight的最方便方式。運(yùn)行該命令前,記得修改用戶名和密碼。
復(fù)制
docker run \
--name superinsight-db-standalone \
-p 5432:5432 \
-e SUPERINSIGHT_USER=admin \
-e SUPERINSIGHT_PASSWORD=password \
-e ENV_IMAGE_TO_LABEL=True \
superinsight/superinsight-db-standalone:latest
為了本文這個(gè)演示,我們將設(shè)置標(biāo)志ENV_IMAGE_TO_LABEL=True,這個(gè)選項(xiàng)讓我們可以基于文本搜索圖片。
連接
一旦Docker容器開始運(yùn)行,您就可以使用PostgreSQL協(xié)議和默認(rèn)數(shù)據(jù)庫Superinsight通過端口5432連接到Superinsight。
復(fù)制
postgres://admin:password@127.0.0.1:5432/superinsight
存儲(chǔ)和搜索非結(jié)構(gòu)化數(shù)據(jù)
Superinsight可以使用標(biāo)準(zhǔn)SQL來存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Superinsight將只分析存儲(chǔ)在數(shù)據(jù)類型為[TEXT]的列中的非結(jié)構(gòu)化數(shù)據(jù)。在下面例子中,我們將使用Flipkart產(chǎn)品數(shù)據(jù)集。
創(chuàng)建表
標(biāo)準(zhǔn)的CREATE TABLE語句可用于創(chuàng)建表。由于我們只希望Superinsight分析名稱、圖片和描述下面的幾列,作為非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,于是我們?yōu)檫@些列使用數(shù)據(jù)類型[TEXT]。此外,每個(gè)表都必須有一個(gè)主鍵,這是Superinsight的要求。
復(fù)制
CREATE TABLE mldb.product (
_id serial PRIMARY KEY,
category varchar(500),
brand varchar(500),
name TEXT,
image TEXT,
description TEXT,
price float8,
url varchar(500)
);
插入記錄
標(biāo)準(zhǔn)SQL Insert語句可用于插入記錄。名稱和描述這兩列的值存儲(chǔ)在數(shù)據(jù)庫中,但至于圖片,我們存儲(chǔ)的是圖片URL。Superinsight將基于每個(gè)圖片URL自動(dòng)讀取和索引圖片。在本例中,我們將為數(shù)據(jù)庫添加20條記錄。SQL腳本可以從這里下載:https://docs.superinsight.ai/setup/dataset/?ref=hackernoon.com#products。
原始文本的語義搜索
我們將在表和預(yù)構(gòu)建模型之間使用JOIN語句創(chuàng)建語義搜索查詢。關(guān)鍵字ON表明使用哪一列作為語義搜索模型的輸入。WHERE關(guān)鍵字用于指定要比較的值。最后,我們可以使用predictions.core作為ORDER BY,對(duì)最相關(guān)的結(jié)果進(jìn)行排序。
注意:在我們第一次搜索之前,Superinsight必須將最新的語義搜索模型下載到您的數(shù)據(jù)庫中。這個(gè)過程可能需要一兩分鐘,快慢取決于網(wǎng)速。
復(fù)制
SELECT predictions.score, mldb.product.image, mldb.product.name,
mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.description
WHERE model.semantic_search.similar = 'Something to sit on'
ORDER BY predictions.score DESC
我們對(duì)“可以坐的東西”進(jìn)行語義搜索,得到四個(gè)得分大于0.11的沙發(fā)床記錄。Superinsight與其他關(guān)系數(shù)據(jù)庫之間最顯著的區(qū)別是,結(jié)果由理解數(shù)據(jù)上下文的機(jī)器學(xué)習(xí)模型來評(píng)分,從而獲得豐富得多的搜索結(jié)果。
圖片到圖片的語義搜索
圖片搜索就像搜索原始文本一樣。只需要更改WHERE子句值和ON子句條件。我們將使用圖片url作為搜索值,基于圖片相似度查找記錄。
復(fù)制
SELECT predictions.score, mldb.product.image, mldb.product.name,
mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.image
WHERE model.semantic_search.similar =
'http://img5a.flixcart.com/image/short/u/4/a/altht-3p-21-alisha-38-
original-imaeh2d5vm5zbtgg.jpeg'
ORDER BY predictions.score DESC
注意,第一張圖片的得分是1,因?yàn)樗c我們要找的圖片一模一樣。我們可以看到下面五張圖片非常相似,所以它們的得分都高于0.87。
文本到圖片的語義搜索
我們還可以通過用文本描述圖片的上下文來搜索圖片。在下面例子中,我們尋找“女性服裝”圖片。
復(fù)制
SELECT predictions.score, mldb.product.image,
mldb.product.name, mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.image
WHERE model.semantic_search.similar = 'woman dress'
ORDER BY predictions.score DESC
結(jié)語
Superinsight使存儲(chǔ)和搜索非結(jié)構(gòu)化數(shù)據(jù)變得很簡單。由于Superinsight基于PostgreSQL,任何支持PostgreSQL協(xié)議的現(xiàn)有應(yīng)用軟件和數(shù)據(jù)可視化工具現(xiàn)在都可以使用Superinsight。欲進(jìn)一步了解Superinsight,請點(diǎn)擊下面的鏈接:
文檔:https://docs.superinsight.ai
GitHub:https://github.com/superinsight/superinsight-db
原文標(biāo)題:Using a Relational Database to Query Unstructured Data,作者:Nelson Chu
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。