人工智能至少在理論上為公共部門帶來(lái)了巨大的希望。但是實(shí)際上，將AI組件集成到公共部門應(yīng)用程序中受到了這些組件的脆弱性以及它們之間的不匹配的限制。例如，如果在與操作環(huán)境中的數(shù)據(jù)不同的數(shù)據(jù)上訓(xùn)練機(jī)器學(xué)習(xí)模型，則組件的性能將大大降低。

這個(gè)難題促使卡內(nèi)基·梅隆大學(xué)的研究人員研究了AI系統(tǒng)集成中的配置類別，并確定了不同領(lǐng)域的從業(yè)者(包括數(shù)據(jù)科學(xué)家，軟件工程師和運(yùn)營(yíng)人員)所做的假設(shè)。他們的目的是尋找新的方法來(lái)明確地傳達(dá)適當(dāng)?shù)男畔?，同時(shí)開(kāi)發(fā)減輕不匹配影響的方法。

合著者指出，在工作中部署AI模型仍然是一項(xiàng)艱巨的挑戰(zhàn)。合著者詳細(xì)介紹了該研究的論文已在今年的政府和公共部門會(huì)議上接受了人工智能會(huì)議。這是因?yàn)槟Ｐ偷拈_(kāi)發(fā)和操作通常涉及三個(gè)不同的角度：數(shù)據(jù)科學(xué)家，軟件工程師和操作人員。第一種構(gòu)建模型并對(duì)其進(jìn)行訓(xùn)練，然后再針對(duì)一組通用指標(biāo)對(duì)其進(jìn)行測(cè)試，而第二種將訓(xùn)練后的模型集成到一個(gè)更大的系統(tǒng)中，而第三種則部署，操作和監(jiān)視整個(gè)系統(tǒng)。

研究人員說(shuō)，這三種觀點(diǎn)是分開(kāi)運(yùn)作的，并使用不同的術(shù)語(yǔ)，導(dǎo)致假設(shè)之間不匹配。結(jié)果，模型測(cè)試期間使用的計(jì)算資源與操作期間使用的計(jì)算資源并沒(méi)有什么不同，從而導(dǎo)致性能下降。更糟糕的是，通常沒(méi)有設(shè)置監(jiān)視工具來(lái)檢測(cè)模型準(zhǔn)確性下降或系統(tǒng)故障。

團(tuán)隊(duì)的解決方案就是所謂的機(jī)器可讀的ML-Enabled系統(tǒng)元素描述符，這是一種在AI系統(tǒng)中啟用不匹配檢測(cè)和預(yù)防的機(jī)制。描述符將屬性編碼，以從所有上述角度做出明確的假設(shè)。也就是說(shuō)，它們可以以手動(dòng)，有監(jiān)督的方式用于信息和評(píng)估目的，或者可以通知開(kāi)發(fā)在設(shè)計(jì)時(shí)和運(yùn)行時(shí)運(yùn)行的自動(dòng)失配檢測(cè)器。