机器学习实战-边学边读python代码(5)

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify p1Vec) + log(pClass1)
p0 = sum(vec2Classify
p0Vec) + log(1.0 - pClass1)
if p1 > p0:
return 1

else:
return 0

注意:

p1Vect = log(p1Num/p1Denom)
p0Vect = log(p0Num/p0Denom)

p0V
array([ 0.04166667, 0.04166667, 0.04166667, 0. , 0. ,
.
.
0.04166667, 0. , 0.04166667, 0. , 0.04166667,
0.04166667, 0.125 ])
p1V
array([ 0. , 0. , 0. , 0.05263158, 0.05263158,
.
.

  1. , 0.15789474, 0. , 0.05263158, 0. ,
  2. , 0. ])

p(w0,w1,w2..wN|ci) = p(w0|ci)p(w1|ci)p(w2|ci)…p(wN|ci),

在本例中,ci分为侮辱性和非侮辱性两个类别,而w0,w1,w2..wN为单词向量(文档中所有单词的汇总),p0V和p1V是由训练文档计算出来的,如果文档为侮辱性文档,统计文档中各个词语在单词向量中出现情况,计算出概率向量p0V,同样计算出p1V.

贝叶斯定理如下:

p(ci|w)

= p(w|ci)p(ci)/p(w)

=p(w0,w1,w2..wN|ci)p(ci)/p(w)

=p(w0|ci)p(w1|ci)p(w2|ci)..p(wN|ci)p(ci)/p(w)

计算一个特定的文档w属于c0(侮辱性文档)或者c1(非侮辱性文档),统计这篇文档中各个单词在两个不同类别中的出现概率,由贝叶斯公式进行量化,也就是把特定文档中的每个单词在p0V或者p1V中找到对应的单词概率,把这些概率相乘,即p(w0|ci)p(w1|ci)p(w2|ci)..p(wN|ci),再乘以p(ci),最后的结果得出两个概率值,概率大的即为特定文档最后的类别。