N-gram 输入法后来提醒

nlp自然语言理解

一个向量映射到另一个空间，为什么是向量呢？

模型其实是向量，一张图片表示成向量，像素表示成rgb ，每一个维度 数的度

文本变成向量 one-hot representation

每一维度出现的次数

次序 位置 维度爆炸 一万个词一万个向量

矩阵的乘法 冗余很高

w对神经的影响，x受到的刺激 ；激活函数f（x1w1+x2w2+x3w3）输入的值足够大，输出1 激活；不够输出0，抑制；

w1w2w3 不同的神经元敏感程度是不同的

每一层是向量

表示每一层之间的关系 x1x2x3 每一个神经元的权重都是不同的

上一层的输入经过激活矩阵成为下一层的

每一层由前一层传递过来， 每一条边是个权值

输入总和进过激活函数，送给下一层

每一层的权重都固定下来，

一层一层套下来

sigmoid 模拟人的神经（激活和抑制）；贝叶斯理论支持

随机初始化，要小一点；

cost error错误代价 输入 - 真正的 求平方差 几乎为零就是正确的 交叉熵

调整使err最小 对参数求导，得到每个参数求导；沿着导数相反的额方式走，

err 由y 由w 链式求导 梯度向下法、

传梯度越来越小 最后得到0 就没法训练了

卷积网络 可以跨梯度传

所有的词映射到空间，相似的词放到相近的位置

两个词语义相近：上下文语境相近去求出词向量，聚类

NLP wordtovector

第几维乘完了就是第几列

中文翻译成英文

中午、 中英文对应的矩阵 英文聚类

循环神经网络处理序列问题

反向传递计算梯度

http://projector.tensorflow.org/

拿官方语言训练，每个领域的语言不同，二次元、摄影的术语都不同，就不适应，新闻是最容易取得的没有什么特征的，先去训练模型