时间:2021-05-22
相对于自适应神经网络、感知器,softmax巧妙低使用简单的方法来实现多分类问题。
softmax的损失函数是采用了多分类问题中常见的交叉熵,注意经常有2个表达的形式
这两个版本在求导过程有点不同,但是结果都是一样的,同时损失表达的意思也是相同的,因为在第一种表达形式中,当y不是
正确分类时,y_right等于0,当y是正确分类时,y_right等于1。
下面基于mnist数据做了一个多分类的实验,整体能达到85%的精度。
'''softmax classifier for mnist created on 2019.9.28author: vince'''import mathimport loggingimport numpy import randomimport matplotlib.pyplot as pltfrom tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_setsfrom sklearn.metrics import accuracy_scoredef loss_max_right_class_prob(predictions, y): return -predictions[numpy.argmax(y)];def loss_cross_entropy(predictions, y): return -numpy.dot(y, numpy.log(predictions)); '''Softmax classifierlinear classifier '''class Softmax: def __init__(self, iter_num = 100000, batch_size = 1): self.__iter_num = iter_num; self.__batch_size = batch_size; def train(self, train_X, train_Y): X = numpy.c_[train_X, numpy.ones(train_X.shape[0])]; Y = numpy.copy(train_Y); self.L = []; #initialize parameters self.__weight = numpy.random.rand(X.shape[1], 10) * 2 - 1.0; self.__step_len = 1e-3; logging.info("weight:%s" % (self.__weight)); for iter_index in range(self.__iter_num): if iter_index % 1000 == 0: logging.info("-----iter:%s-----" % (iter_index)); if iter_index % 100 == 0: l = 0; for i in range(0, len(X), 100): predictions = self.forward_pass(X[i]); #l += loss_max_right_class_prob(predictions, Y[i]); l += loss_cross_entropy(predictions, Y[i]); l /= len(X); self.L.append(l); sample_index = random.randint(0, len(X) - 1); logging.debug("-----select sample %s-----" % (sample_index)); z = numpy.dot(X[sample_index], self.__weight); z = z - numpy.max(z); predictions = numpy.exp(z) / numpy.sum(numpy.exp(z)); dw = self.__step_len * X[sample_index].reshape(-1, 1).dot((predictions - Y[sample_index]).reshape(1, -1));# dw = self.__step_len * X[sample_index].reshape(-1, 1).dot(predictions.reshape(1, -1)); # dw[range(X.shape[1]), numpy.argmax(Y[sample_index])] -= X[sample_index] * self.__step_len; self.__weight -= dw; logging.debug("weight:%s" % (self.__weight)); logging.debug("loss:%s" % (l)); logging.info("weight:%s" % (self.__weight)); logging.info("L:%s" % (self.L)); def forward_pass(self, x): net = numpy.dot(x, self.__weight); net = net - numpy.max(net); net = numpy.exp(net) / numpy.sum(numpy.exp(net)); return net; def predict(self, x): x = numpy.append(x, 1.0); return self.forward_pass(x);def main(): logging.basicConfig(level = logging.INFO, format = '%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt = '%a, %d %b %Y %H:%M:%S'); logging.info("trainning begin."); mnist = read_data_sets('../data/MNIST',one_hot=True) # MNIST_data指的是存放数据的文件夹路径,one_hot=True 为采用one_hot的编码方式编码标签 #load data train_X = mnist.train.images #训练集样本 validation_X = mnist.validation.images #验证集样本 test_X = mnist.test.images #测试集样本 #labels train_Y = mnist.train.labels #训练集标签 validation_Y = mnist.validation.labels #验证集标签 test_Y = mnist.test.labels #测试集标签 classifier = Softmax(); classifier.train(train_X, train_Y); logging.info("trainning end. predict begin."); test_predict = numpy.array([]); test_right = numpy.array([]); for i in range(len(test_X)): predict_label = numpy.argmax(classifier.predict(test_X[i])); test_predict = numpy.append(test_predict, predict_label); right_label = numpy.argmax(test_Y[i]); test_right = numpy.append(test_right, right_label); logging.info("right:%s, predict:%s" % (test_right, test_predict)); score = accuracy_score(test_right, test_predict); logging.info("The accruacy score is: %s "% (str(score))); plt.plot(classifier.L) plt.show();if __name__ == "__main__": main();损失函数收敛情况
Sun, 29 Sep 2019 18:08:08 softmax.py[line:104] INFO trainning end. predict begin.Sun, 29 Sep 2019 18:08:08 softmax.py[line:114] INFO right:[7. 2. 1. ... 4. 5. 6.], predict:[7. 2. 1. ... 4. 8. 6.]Sun, 29 Sep 2019 18:08:08 softmax.py[line:116] INFO The accruacy score is: 0.8486以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
在PyTorch中可以方便的验证SoftMax交叉熵损失和对输入梯度的计算关于softmax_cross_entropy求导的过程,可以参考HERE示例:#-*
本文实例讲述了Python实现加载及解析properties配置文件的方法。分享给大家供大家参考,具体如下:这里参考前面一篇:我们都是在java里面遇到要解析p
有如下的xml文件:复制代码代码如下:12下面介绍python解析xml文件的几种方法,使用python模块实现。方式1,python模块实现自动遍历所有节点:
这篇文章主要介绍了Python实现word2Vecmodel过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以
这篇文章主要介绍了python用requests实现http请求过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友