CDA數(shù)據(jù)分析師編譯：如何評估機器學習模型的商業(yè)價值

　　概述

　　對于任何評估來說，CDA數(shù)據(jù)分析師認為最難的是保持簡單易操作，在數(shù)據(jù)科學中也是如此。在任何數(shù)據(jù)科學項目中，細化數(shù)據(jù)、微調(diào)模型、部署它們的迭代過程都是一個持續(xù)的過程。隨著工具、算法的進步，以及隨著 MLOps 的出現(xiàn)，事情變得容易了很多，而且未來也會繼續(xù)發(fā)展——技術(shù)會優(yōu)化自己。

　　業(yè)務(wù)方面呢?說服客戶相信使用先進工具和技術(shù)構(gòu)建的復雜模型的預測能力有多容易?客戶是否愿意為項目提供資金并信任我們模型的建議?好吧，不妨試著解釋模型的 ROC 曲線，試著用特異性和敏感性指標來說服客戶——你會看到的只是眼球在滾動。

　　但是，如果我們能夠在沒有復雜指標和技術(shù)術(shù)語的情況下回答業(yè)務(wù)問題呢?那么，我們就可能有機會從業(yè)務(wù)部門那里獲得支持。在本文中，我們將看到一個用例，在該用例中，我們?nèi)詫��?gòu)建我們的模型，但以不同的方式對其進行解釋——業(yè)務(wù)方式。

　　使用 ML 模型提取商業(yè)價值的方法

　　在今天CDA數(shù)據(jù)分析師編譯的這篇博客中，我們將探索十分位數(shù)的使用，了解各種評估圖，如累積增益圖和提升圖等，以評估 ML 模型的商業(yè)價值。該方法將幫助我們解釋 ML 模型的預測能力，并使解釋模型結(jié)果變得很簡單。這些圖表和指標將使企業(yè)能夠更有信心地做出明智的決策。

　　我們將在本文中探索以下主題。

　　數(shù)據(jù)探索

　　數(shù)據(jù)處理

　　建立模型

　　生成十分位數(shù)和報告

　　模型對比

　　業(yè)務(wù)場景

　　結(jié)論

　　入門

　　我們將使用來自 UCI 機器學習存儲庫的公開可用的銀行數(shù)據(jù) 集， zip 文件中有四個數(shù)據(jù)集，但我們感興趣的是*bank-additional-full.csv。*所有的屬性信息都可以在上面的 URL 中找到。數(shù)據(jù)來自直接營銷電話聯(lián)系客戶，以評估客戶是否有興趣訂閱銀行定期存款。如果訂閱，則為 Yes，否則為 No。本文討論的是如何評估 ML 模型的商業(yè)價值。

　　數(shù)據(jù)加載和處理：

　　讓我們加載數(shù)據(jù)并查看一下以便更好的理解數(shù)據(jù)。

　　我們可以進行完整的EDA/特征工程/選擇重要變量然后構(gòu)建模型，但為了簡單起見，我們將選擇很少的變量進行模型構(gòu)建。

　　此外，還需要更進一步地探索數(shù)據(jù)，將目標變量轉(zhuǎn)換為分類變量并對其進行編碼。

　　輸出：

　　模型構(gòu)建以提取商業(yè)價值

　　邏輯回歸

　　Step1：定義自變量和目標變量

　　Step2：將數(shù)據(jù)集拆分為訓練集和測試集，其中測試大小為整個數(shù)據(jù)集的 20%

　　Step3：建立邏輯回歸模型

　　至此，我們已經(jīng)建立了模型，并在測試數(shù)據(jù)上對其進行了評分(預測)，這為我們提供了每個觀察結(jié)果的預測概率。

　　生成十分位數(shù)

　　簡單地說，十分位數(shù)把數(shù)據(jù)進行分箱。所以，我們將所有預測的概率分成十組，并對它們進行排名，這意味著最高的預測概率將在十分之一，最低的設(shè)置將在十分之一。我們將使用pandas的 cut() 函數(shù)拆分數(shù)據(jù)。

　　下面的代碼行創(chuàng)建一個名為Decile_rank_glm的新列， 它保存每個預測記錄的排名。

　　注： 0.99 的概率為 1，0.93 為 2，0.85 為 4，0.59 為 9。我們將在后面的部分中看到此結(jié)果的可視化。

　　模型評估以提取商業(yè)價值

　　我們構(gòu)建的任何模型都必須與基線模型進行比較，以評估模型的性能。請跟CDA數(shù)據(jù)分析師一起在下面進一步探討這一點。

　　隨機模型：基線模型將是一個隨機模型，這意味著它與拋硬幣一樣好，這意味著有 50% 的概率客戶的電話是正確的或者客戶購買我們的產(chǎn)品。我們的邏輯回歸模型的性能顯然應該比這更好。

　　向?qū)�模型：這是另一個極端模型，它的預測是完美的，這意味著它幾乎以 100% 的準確度進行預測。此模型不應用于生產(chǎn)或任何業(yè)務(wù)決策，因為很可能會過度擬合。

　　邏輯回歸：我們的模型應該介于這兩個極端模型之間，這使我們有足夠的信心做出業(yè)務(wù)決策。

　　我們將在累積增益圖中可視化上述模型。展現(xiàn)邏輯回歸的性能。

　　到目前為止看起來不錯，圖在預期線上，邏輯回歸模型介于我們討論的兩個極端模型之間。

　　累積增益圖的見解：

　　如果我們只能選擇前 20%(十分位數(shù) 1 和十分位數(shù) 2)，那么我們就可以覆蓋**近 80%**的目標類別。

　　由于這是一個累積圖，我們看到**曲線在十分位數(shù) 5 之后變平，**這意味著十分位數(shù) 6 到 10 要么有最少的記錄，要么沒有。

　　向?qū)�模型在十分位�?shù) 2 的位置達到了100% 標記——我們已經(jīng)知道這是一個理想模型，僅供參考。如果我們的模型開始接近或者類似于這兩個極端模型中的任何一個，那么需要檢查我們的模型。

　　到目前為止，CDA數(shù)據(jù)分析師已經(jīng)與你一起討論了模型、十分位數(shù)及其性能比較。讓我們在十分位數(shù)級別上進一步探討這一點，以更清楚地了解發(fā)生了什么以及我們?nèi)绾胃�好地解釋這個過程。我們將在視覺效果的幫助下進行分析，這使它變得更加容易。kds 包有一個非常好的功能，可以在一行代碼中生成所有指標報告。

　　讓我們了解這些情節(jié)中的每一個。需要注意的是，所有圖的 x 軸都是十分位數(shù)。

　　提升圖(Lift Plot)：這個圖向我們展示了邏輯回歸模型與隨機模型相比到底有多好。例如：十分位數(shù) 2 給了我們幾乎 4 倍的提升，這意味著我們可以比隨機模型方法做得好 4 倍。當我們進入更高的十分位數(shù)時，升力下降并最終滿足隨機模型線，這是因為所有更高的概率分數(shù)值都在我們已經(jīng)在累積增益圖中看到的最高十分位數(shù)(1 到 3)中。因此，底部十分位數(shù)的概率較低且?guī)缀跖c隨機模型相同。

　　十分位數(shù)提升圖(Decile-wise Lift Plot)：該圖向我們展示了每個十分位數(shù)中目標類觀察的百分比，我們觀察到十分位數(shù) 1 具有最大值，隨著x軸數(shù)值的延伸，十分位數(shù)百分比下降，在某個點之后它甚至低于隨機模型線。這是因為隨機模型具有隨機設(shè)置的均勻分布的觀測值，而我們的模型在較高的十分位數(shù)中預測的觀測值較少。

　　累積增益圖(Cumulative Gain Plot)：在以前的部分中討論過這個問題，還研究了對圖的解釋。

　　KS 統(tǒng)計圖(KS Statistic Plot)：KS 圖評估不同的分布，即事件和非事件，KS 值是分布之間差異最大的點。簡而言之，它有助于我們理解 ML 模型區(qū)分兩個事件的能力。KS 分數(shù)大于 40，如果它恰好在前 3 個十分位數(shù)中，那么它被認為是好的。在我們的例子中，我們從圖中得到了 68.932 和十分位數(shù) 3 的分數(shù)。

　　讓我們用隨機森林再構(gòu)建一個模型，看看結(jié)果如何。

　　觀察：

　　隨機森林模型略好于邏輯回歸模型。

　　十分位數(shù) 2 的提升略高，KS 統(tǒng)計數(shù)據(jù)為 72.18，而logistic統(tǒng)計數(shù)據(jù)為 68.93

　　業(yè)務(wù)場景

　　建議控制：在某些情況下，客戶有業(yè)務(wù)需求，即應始終生成最少 X 條建議。在這種情況下，我們可以通過考慮前 3 個十分位數(shù)而不是 2 個十分位數(shù)來獲得更大的建議，并且還可以對其他記錄進行精細控制。

　　衡量市場反應：推薦后分析和市場反應很容易衡量。例如，從前一點，我們可以單獨跟蹤來自十分位數(shù) 3 的所有額外推薦的表現(xiàn)。來自十分位數(shù) 3 的額外推送是否產(chǎn)生了任何影響(正面或負面)?

　　優(yōu)化營銷支出：通過關(guān)注前 20-30% 的人群，企業(yè)可以節(jié)省時間、資源和金錢。以避免這些時間、資源和金錢會花費在無響應者或定位錯誤客戶上。

　　結(jié)語

　　CDA數(shù)據(jù)分析師認為技術(shù)有其一席之地，企業(yè)也有發(fā)言權(quán)。歸根結(jié)底，這一切都與技術(shù)帶來的商業(yè)價值有關(guān)。當這些收益用商業(yè)術(shù)語來解釋時，它總是會更有效。它不僅有助于從業(yè)務(wù)中獲得信心，而且還開辟了新的探索機會。

　　請注意，我們構(gòu)建了兩個分類模型，但沒有研究我們通常為此類模型所做的 ROC 曲線、混淆矩陣、精度、召回率和其他標準指標。強烈建議跟蹤和測量這些指標以評估模型的性能，然后遵循此文中的十分位數(shù)方法。根據(jù)目標受眾和目標，使用最適合目標的方法。