GAN网络

基本概念GAN(Generative Adversarial Network)生成对抗网络,由生成器G(Generator)和判别器(Discriminator)组成。生成器努力生成数据以通过判别器,判别器努力判别出生成数据的真假,最后它俩收敛。这个模型很有想象力,像是结对进化,像是二人关系,像是阴

循环神经网络RNN

1. NLP基本概念词向量NLP需要把一个词,映射到向量空间中去,相似词在形似的空间上 ,形成词库、词林、词网。根据大量文本形成知识库,根据知识库去检索新的句子。如情感词汇库:根据词汇库可以计算相似度One-Hot将所有词映进词向量空间,有多少个词就有多少个维度;维度太高,如果套用深度模型,其复杂度

几种卷积神经网络

1. LeNet采用5*5的卷积核,没有使用paddingSubsampling采样等价于pooling如何看待第2次卷积?得到1张图,需要6组5*5的卷积核;选在16租主要的数据,形成16个通道的输出。每一张输出,都是前边6组的卷积聚合5 * 5 * 6 * 16 = 2400个参数注: 3维的卷

卷积神经网络CNN

1. 简介历史:=> LeNet(1998) => DeepLearing概念提出(2006) => AlexNet(2012-8层) 第一个使用价值 => VGG(2014-19层) => GoogleNet(2014-22层) => ResNet(2015

决策树与随机森林笔记

1. 信息熵信息熵熵是随机变量不确定性的度量。设X是一个取有限个值的离散随机变量,其分布为:P(X = xi) = pi , i = 1,2,3..n则随机变量X的熵定义为:表示为一种变量的期望,概率小,信息越大。对于二项分布:H(X) = -plnp - (1-p)ln(1-p),图像如下:当概

聚类笔记

计算距离的时候,可以增加系数;1. 前言聚类算法本不在计划内,那为什么又学习它了呢,最主要的是看到了在任意多边形K均分案例中的应用,而这个应用也正是目前工作所需要的。相比于前边几个算法,聚类算法会好理解一些。下边先来看看聚类的几个基本概念。设X为n个样本,每个样本m个特征的样本集合(m×n矩阵)。距

梯度下降理论

1. 基础无约束优化无约束优化当x属于欧几里得空间,属于无约束优化;当x不属于欧几里得空间,有约束优化;局部最小与驻点所有优化办法,都是没有办法取得全局最小值的,所以优化的目标就是找局部最小值。局部最小:f(x)在其邻域内最小;驻点:(stationary point),一阶导数为0的点;驻点未必是

向量求导

1. 向量求导方向导数对向量的每个方向进行求导Df(x)[L]指的是f(x)在L方向的导数Hessian 海塞矩阵二阶向量导数然后在对v求内积对于每一行而言:向量求导示例以二次型为例,利用求导定义,注意这里tv,t是标量,v是向量(方向)2. 矩阵求导矩阵方向导数方向导数本质是内积在矩阵上上相同的这

主成分分析PCA笔记

1. 前言PCA的目的:数据的变量之间可能存在相关性,以致增加了分析的难度,于是就考虑用不相关的变量来代替相关的变量,并要求能够保留数据中的大部分信息。由于变化之后的变量数量减少,维度降低,PCA本质上是一种降维方法,其他如NFM、t-SNE(mp -> m2)、umap。参考假设原数据为X,

隐马尔科夫模型笔记

1.前言隐马尔科夫模型有些不同,不论感知机、逻辑回归还是SVM,它们都是用数学公式来建模,但HMM却是采用了图的方式来建模,而且这个图很有想象力。它可以想象成在看似没有关系的现实世界背后,隐藏着一个存在关系的规律世界。在因果律的基础上,增加了概率表现的想法。它的模型可以描述为(这个网络也被成为贝叶斯

EM算法笔记

1. 前言这一节来学习EM算法,想学习EM算法需要先了解极大似然估计(使似然函数取得最大值时参数估计)。在统计学习方法中说道,EM就是含有隐变量的概率模型参数的极大似然估计法。EM与极大似然估计一样,都是对参数进行计算的一种算法;隐变量不是未知的,未知是你不知道它存在,而隐变量是你知道它存在,只是不

SVM数学基础

0. 前言本文将SVM中涉及的几个数据概念进行详细的探讨,包括拉格朗日乘子法、KKT条件、对偶问题、核技巧等。1. 拉格朗日乘子法参考引例x2 y = 3上的点,到原点的最短距离。在极值点处,圆与曲线相切;圆的梯度与曲线的梯度向量平行;梯度向量平行,数学符号表示为:定义变形F被成为拉格朗日函数。引申

支持向量机笔记

1. 前言想着短时间快速看完整本的统计学习,目前而言,实现这个目标不太现实。想着与其降低质量看全,不如保证质量少看。在这样一种策略下,计划对:SVM、隐马尔科夫链、条件随机场、PCA、LSA等5中模型进行学习。在这个过程中,会涉及一些不懂的概念,凿穿它们。这里是第一个模型SVM。原视频定义问题SVM

图形变换基础

0. 前言本周做了一些2D绘制图的工作,其中涉及到了图形的基本变换,这里简单做个总结。本部分主要涉及矩阵的变换,参考:矩阵基础、 线性变换图形变换的内容主要参考:旋转变换1. 移动图形的移动就是坐标的移动:x' = x + ΔXy' = y +ΔY移动用2维矩阵没法表达直接表达,增加到3维即可表达:

解析红黑树

0. 前言前边Nginx中定时器的实现,以及Linux中完全公平算法都用了红黑树,是时候对它进行整理了。红黑树是一种二叉平衡树,下边先来看看二叉搜索树,毕竟红黑树的用法与二叉树的用法基本是类似的;然后来看看红黑树的原理,为了更好的理解红黑树,我们对照2-3-4树来看;最后来看看红黑树的实现。1. 二

gossip协议

前边微服务框架选择中,反复看到一致性的协议,这一阶段就来对这些一些进行研究,包括:Paxos协议、Raft协议、Gossip协议,本文是这一系列第三篇

raft协议

前边微服务框架选择中,反复看到一致性的协议,这一阶段就来对这些一些进行研究,包括:Paxos协议、Raft协议、Gossip协议,本文是这一系列第二篇

paxos协议

前边微服务框架选择中,反复看到一致性的协议,这一阶段就来对这些一些进行研究,包括:Paxos协议、Raft协议、Gossip协议,本文是这一系列第一篇

离散数学

离散数学基础
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×