根據(jù)數(shù)據(jù)科學家與數(shù)據(jù)工程師對于問題的理解并相互討論，然后確定需要收集數(shù)據(jù)的范圍以及種類，然后數(shù)據(jù)工程師使用數(shù)據(jù)收集工具，架構，甚至編程的形式來進行數(shù)據(jù)收集的工作，然后并把數(shù)據(jù)收集的數(shù)據(jù)放置到對應的存儲系統(tǒng)。

由于決策樹學會了對離散值輸出而不是實值函數(shù)進行分類，因此它們不可能過度擬合。

給定用于2類分類問題的線性可分離數(shù)據(jù)集，線性SVM優(yōu)于感知器，因為SVM通常能夠在訓練集上實現(xiàn)更好的分類精度。

支持向量機不適合大規(guī)模數(shù)據(jù)。

使用偏差較小的模型總是比偏差較大的模型更好。

訓練神經(jīng)網(wǎng)絡具有過度擬合訓練數(shù)據(jù)的潛在問題。

當MAP中使用的先驗是參數(shù)空間上的統(tǒng)一先驗時，MAP估計等于ML估計。

小數(shù)據(jù)集的數(shù)據(jù)處理最好也由計算機手段來完成。

假設屬性的數(shù)量固定，則可以在時間上以線性方式學習基于高斯的貝葉斯最優(yōu)分類器，而該數(shù)量是數(shù)據(jù)集中記錄的數(shù)量。

由于分類是回歸的一種特殊情況，因此邏輯回歸是線性回歸的一種特殊情況。