基于浅层前馈神经网络和词窗口的命名实体识别实践
Introduction 命名实体识别作为自然语言处理领域中一项基础而关键的技术，被广泛应用于自然语言处理各个应用领域中，也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多 NLP 任…
CATEGORY/15 ENTRIES
机器学习
归入「机器学习」的全部写作。
文本处理之 tf-idf 算法及其实践
Introduction tf-idf（英语：term frequency–inverse document frequency）是一种用于信息检索与文本挖掘的常用加权技术。 TF-IDF是一…
“熵”不起：从熵、最大熵原理到最大熵模型
引言 “熵”最初是热力学中的一个概念，之前关于决策树算法的部分涉及到一部分熵的知识，上世纪40年代，香农首先在信息论中引入了信息熵的概念。信息熵用来表示不确定度的度量，不确定度越大，熵值越大。…
NLP 之关键词提取算法概述
前言
隐马尔科夫模型（HMM）
前言 同时在LP 之分词技术概述中有提到 HMM 模型，虽然此方法在现代的作用和地位有所下降，但是依然是非常值得了解的学习机器学习经典算法。 本文的基本提纲如下： 1. 基础知识 1. 定义…
NLP 之分词技术概述
前言 NLP 的问题领域中，首先的要解决核心问题就是分词。在英文以空格来作为天然的词语间隔的语言中，分词是非常容易的；但是在中文领域，词以汉字为单位组成，词语与词语之间并无天然的界限，句子或短…
蒙特卡罗方法概述
前言 作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习,深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求解…
logistic 算法及其在手写数字识别的实践
引言 逻辑斯谛回归（logistic regression）是统计学习中的经典分类算法。最大熵模型是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy m…
决策树及其在手写数字识别的实践
引言 决策时是一种基本的分类和回归方法，现在主要讨论分类决策树。决策树模型呈树形结构，在分类问题中，表示基本特征对实例进行分类的过程，你可以认为他是一个 if-then 的集合，也可以认为是定…
K 近邻法及其在手写数字识别的实践
引言 k 近邻法（k-nearest-neighbor, KNN）是一种基本的分类和回归方法。现在只讨论其分类方面的应用，它不具备明显的学习过程，实际上是利用已知的训练数据集对输入特征向量空间…
朴素贝叶斯应用之在手写数字识别的实践
引言 我们都见过或者用过的一个东西就是输入法的手写键盘，如下面的动图所示，那么输入法是如何识别出我们手写的字迹是什么字的呢？这是一个对人而言非常简单（前提是你写的字体不过于潦草），但是对于程序…
最小二乘法矩阵表示及非线性响应
引言 早上上班的路上读《社会心理学》里面有一段话，觉得不错，摘在这里。 我们人类总是有一种不可抑制的冲动，想要解释行为，对其归因，以使其变得次序井然．具有可预见性，使一切尽在掌握之中。你我对于…
最小二乘法的朴素实现
引言 最小二乘法（Least Squares Method, 简记为LS）的维基解释。 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小…
信息论、贝叶斯及机器学习
引言 1956年，让机器来做聪明的事情的科学被称为“人工智能”。直到1997年，人类才创造出来能下象棋的电脑并打败了世界冠军。通过这样的一个例子及数字计算机的发展历史表明，感知其实是一个很难解…
机器学习中的数学基础--线性代数
换了个新的博客主题,开启新的学习主题. 线性代数 标量、向量、矩阵和张量 - 标量(scalar): 一个标量就是一个单独的数，它不同于线性代数中研 究的其他大部分对象(通常是多个数的数组)。…