机器学习菜鸟的学习笔记（18）

写在前面接着上期，我们继续介绍神经网络，我从知乎上找到一组十分有趣的图片可以解释神经网络的工作流程，在此分享。神经网络神经网络的一些思考我们假设一个神经网络有100层神经元，该层中的神经元把第前层的所有神经元的输出作为输入，而它的上一层也是通过该方法进行的。这个过程以为着什么呢？此时我们再次类比大脑，我们的大脑中有负责处理视觉、嗅觉、听觉、触觉的部分，他们的功能相互独立又相互作用。我们的神经网络是否也是这样呢？是否是一层专注于处理某一个特征，到了下一层再专注于处理一个特殊的特征，一直到最后得到结

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（17）

写在前面今次紧接上回，继续来简单介绍神经网络神经网络背景为了可以进行良好的数学分析，我们这里引入一个熟悉的函数，Sigmoid函数，这样神经网络的训练就可以用梯度下降法来构造了。让我们看看下图这个例子：我们在之前的介绍中知道一个神经元只能切一次，分为两半，而如图的数据如何切一次将它全部分开呢？显然切一次是不可能的，既然切一次不能进行分类，那就多切几次。我们给神经网络多加几层不就可以多切几次了嘛！底层神经元的输出是高层神经元的输入。我们有很多策略，可以横竖各切一次分成四部分，把左上和右下的部分合在

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（16）

写在前面今次我们就来介绍一下强大的神经网络，这是一个神奇又复杂的东西，但是今次不会介绍复杂的数学推导，而是选择一些比较容易理解的方式来介绍一下分类器和神经元的概念。神经网络分类器神经网络是一种模拟人脑内存在的神经网络，使其能够实现类人工智能的机器学习技术。说白了，神经网络最重要的用途是用于分类，如果对于分类的概念渐渐淡了，那就来回顾一下。识别垃圾邮件：比如一封电子邮件，送进一个检测程序里，判断这封邮件是否是垃圾邮件。疾病诊断：将病人的身体检测结果送进一个机器，通过机器需要判断这个病人得的什么病。

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（15）

写在前面今次来分享一下one vs all的逻辑回归模型的实现，这次的数据有一些不一样，它是一个手写数字图像的训练示例。其中共有5000个训练示例。每个训练示例都是一个20像素乘20像素的数字灰度图像。每个像素由一个浮点数表示该位置的灰度强度。这个*20 20的像素网格被展开成一个400维的向量。在我们的数据矩阵X中，每一个训练示例都变成了一行。这就给了我们一个5000×400的矩阵X，其中每一行都是一个手写数字图像的训练示例。训练集的第二部分是一个5000维的向量y，它包含训练集的标签。为

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（14）

写在前面今次分享一下将正则化加入逻辑回归算法的实现，其实也并不算复杂，所见即所得，所得就把它写出来。正则化逻辑回归的实现文件数据在此次练习中用了一个更加复杂的数据集。与之前一样，我们需要先读数据，读完之后将它画出来看看分布。方法千千万，当然明显的是上一期的方法比较简便，不过选一种比较熟悉的就好。with open(filename, 'r') as f: reader = csv.reader(f) columns = ['t1', 't2', 'value'] for row

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（13）

写在前面上一期完成来Python线性回归的简单实现，今次我们来实现一下逻辑回归。与上次一样，还是只展示分享一些关键代码。逻辑回归的实现文件读取与之前一样，我们现需要将文件读出来，在此练习中数据共分为了三列，这里也可以使用pandas以及各种你想得到或者熟练的方法。其实无所谓什么方法，只要能获取就行，下面展示一种实现方法。 with open(filename, 'r') as f: reader = csv.reader(f) columns = ['ex1', 'ex2', 'va

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（12）

写在前面在Coursera的机器学习中配套有相关的练习，然而这些练习是使用Octave实现的。不过，作为一个Python的初学者当然得知道强大的Python也是可以实现这些练习的，接下来就对其中的一些练习的关键代码进行分享。线性回归的实现文件读取作业中提供的csv文件含有两列数据。x是Profit in $10,000s, y代表了Population of City in 10,000s。所以我们先需要读取这个csv文件，使用csv中的reader方法便可以轻松实现。 with open(fi

1 赞 3 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（11）

写在前面之前的十期分享大致上简单介绍了机器学习的入门，至少对于我而言这是我的一个入门，当然这些内容只是个简单介绍，里面不乏大量细节需要注意，如果感兴趣十分推荐回头再次深入。教材来源之前的分享中出现的一些图片和内容是选自吴恩达在Coursera上的Machine Learning课程，在Coursera上这门课是免费的，随时注册随时看，也不用担心过期。这门课十分适合初学者，哪怕没有机器学习的基础也是可以上手的。链接如下：Coursera机器学习教材评析在学习的过程中，一开始我其实是相当畏惧其中涉及

1 赞 1 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（10）

写在前面书接上回，今次将简单分享如何将正则化应用在之前所遇到的逻辑回归和线性回归中。到这个阶段，恭喜恭喜，你已经掌握了一些基础了（毕竟再往后的神经网络就没那么容易理解了）。闲话少叙，让我们从正则化的种类开始。L1 L2 正则L1正则由模型的参数的绝对值的和构成，L2范数由模型的参数的平方和构成。L1正则可以降低模型的复杂度，做特征选择。这是由于当采用L1正则后模型中对于部分特征的权重会置零。这样可以有效的降低有依赖的特征，起到特征选择的作用，同时特征维度降低后模型的复杂度也随之降低。所以L1正则

0 赞 0 评论

3 年前 / Nexus_G

机器学习菜鸟的学习笔记（9）

写在前面今次的学习笔记将简单介绍一个机器学习中会遇到的问题，过拟合。过拟合是指一个假设在训练数据上拟合的太好了，过于严格的好。这时候就会有人感到困惑，为什么我在训练数据上拟合效果特别好就未必是个好事呢？是的，你是获得了一个拟合很好的模型，但是先别急，如果你使用了训练数据外的数据集，效果就可能会变得很差，就是所谓的泛化效果很差。下面将会用线性回归与逻辑回归中的例子来展示过拟合问题。问题引入过拟合（线性回归）过拟合（逻辑回归）过拟合问题解决策略方法一：尽量减少选取变量的数量人工检查每一项变量，并以此

0 赞 0 评论