數(shù)據(jù)挖掘是如何運(yùn)作的？

讀懂?dāng)?shù)據(jù)等于掌握財(cái)富密碼。但并不是所有數(shù)據(jù)都有價(jià)值 ，這就是數(shù)據(jù)挖掘的價(jià)值所在，本文介紹大數(shù)據(jù)挖掘的全流程

大多數(shù)時(shí)候當(dāng)人們搜索數(shù)據(jù)挖掘的時(shí)候 ，他們所感興趣的是整個(gè)流程，數(shù)據(jù)挖掘只是流程中的一個(gè)環(huán)節(jié)。數(shù)據(jù)挖掘也可以被理解為為如何在數(shù)據(jù)中發(fā)現(xiàn)“知識(shí)”

從原始數(shù)據(jù)開(kāi)始 ，使用計(jì)算和算法工具，直到獲得有價(jià)值的數(shù)據(jù)  ，我們可以稱(chēng)之為知識(shí)
，步驟如圖

Data Mining Process

從原始數(shù)據(jù)到進(jìn)行數(shù)據(jù)的選擇得到Target Data

假設(shè)我們我們有很多關(guān)于某種現(xiàn)象的信息現(xiàn)象，我們想得出一些在這種情況下 ，關(guān)于這個(gè)問(wèn)題的知識(shí) 。有時(shí)我們有一些數(shù)據(jù)不是有用的數(shù)據(jù)，有些數(shù)據(jù)還沒(méi)有準(zhǔn)備好在這種情況下被使用。例如，我們要做的基本處理是顏色選擇，然后我們得到數(shù)據(jù)到目標(biāo)日期 ，有了這個(gè)目標(biāo)數(shù)據(jù)，我們可以對(duì)這個(gè)目標(biāo)數(shù)據(jù)做轉(zhuǎn)換處理 。在此之前
 ，我們需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理

方法一
：異常值檢測(cè)

Outlier Detection

假設(shè)我們有數(shù)據(jù)的變量分布，我們可以看到或者我們也可以用算法來(lái)檢測(cè)這個(gè)紅色的點(diǎn)是一個(gè)離群點(diǎn)，在某些情況下一些算法可能無(wú)法正常工作 。如果我們的數(shù)據(jù)與整個(gè)分布非常不同與整個(gè)分布非常不同 ，這被稱(chēng)為離群點(diǎn)，我們可以嘗試去掉并得到這個(gè)經(jīng)過(guò)處理的數(shù)據(jù)

Red Outlier

方法二：檢測(cè)缺失值

Detect Missing Values

假設(shè)我們有這個(gè)數(shù)據(jù)分布，我們可以來(lái)做一個(gè)估計(jì)。使用那條綠線
，所以我們可以嘗試填充估計(jì)值

Detect Missing Values

接下來(lái)，是數(shù)據(jù)歸一化處理 ，因?yàn)橛袝r(shí)我們有一些數(shù)據(jù)的值是從0到1，另一些數(shù)據(jù)可能是文本數(shù)據(jù)