AH's Blog

小菜鸟的碎碎念

Distance Metric

数据科学基础课笔记(五)

容易计算两点之间、两灰度图之间的距离,那如何计算两种纹理之间的距离呢? 两个样本间距离的度量方法 闵可夫斯基距离 (Minkowski Distance) \[\begin{aligned} d(x, y) &= (\sum_i \mid x_i - y_i \mid^p)^\frac{1}{p} \\ &= (\sum_i \mid d_i \mid^p)^\fr...

Kernel Trick

数据科学基础课笔记(四)

引言 上一章笔记介绍了在训练样本数量固定时,高维很可能导致过拟合。然而维数过低也会有欠拟合的问题。 例如在下图中,无法找到一个线性分类器将正负样本较好地分开。 但是如果我们能将样本投影到高维空间,数据也许就变得可分了 这里我想到大一为了写笑脸识别,第一次接触SVM的时候看到的一段介绍,大意是,一堆黑白的围棋子散乱在桌面上,混在一起难以分开。大师在桌上猛地一拍,围棋子悬浮在...

Reinforcement Learning

人工智能课笔记(四)

RL: Reinforcement Learning Reinforcement Learning Still assume a Markov decision process (MDP): a set of states $s \in S$ a set of actions (per state) $A$ a model $T(s, ...

Search

人工智能课笔记(三)

Search Search Problems a state space e.g. (x, y) location a successor function (with actions, costs) e.g. update location a start state and a goal test ...

MDP

人工智能课笔记(二)

MDP: Markov Decision Processes MDP a set of states $s \in S$ a set of actions $a \in A$ (like successors in search problems) a transition function $T(s, a, s’)$ (i.e. $P(s’ \mid s, a)$) ...

进程

Operating System Notes

第3章 进程 3.1 进程概念 3.1.1 进程 进程是执行中的程序(unformal) 进程包括文本段、数据段、堆、栈 程序不是进程,程序是被动实体,进程是活动实体,当可执行文件载入Mem的时候,程序才会变成进程 进程本身也可以作为其他程序的运行环境(如JVM) 3.1.2 进程状态 3.1.3 进程控制块PCB 进程状态 PC CPU Reg ...

导论

Operating System Notes

第1章 导论 1.1 操作系统做什么 计算机系统可以大致分为4个组成部分: 计算机硬件(e.g. CPU、内存、I/O): 为系统提供基本的计算资源 操作系统: 控制和协调各用户的应用程序对硬件的使用 系统程序与应用程序(e.g. 字处理程序、电子制表软件、编译器、网络浏览器):规定了用户按何种方式使用这些资源 ...

Basic Machine Learning

人工智能课笔记(一)

注:这是上学期上人工智能课时整理的笔记,现在po到博客上来,方便浏览。 当时课程参考斯坦福(后来换成了伯克利)的人工智能课,教材理论上应该是Artificial Intelligence: A Modern Approach,但是某马姓老师上课质量和在我们反馈后采取的态度实在是不敢恭维,此处暂且按下不表了。 笔记总共写了四篇: Basic Machine Learning M...

Dimensionality Reduction

数据科学基础课笔记(三)

1. 高维诅咒 Curse of Dimensionality 对于一个640*640的RGB图片来说,如果保留所有的像素,向量长度将达到640*640*3=1,228,800维。如果是视频,乘上帧率和时长,维数将变得更高。 这就引发了高维诅咒的问题: 高维诅咒对时间和空间复杂度提出了很高的要求。存储的成本和耗时都将增加。 对于同样数量的样本,在更高维度空间中就会变得稀疏,所...

Feature Engineering

数据科学基础课笔记(二)

如何从数据中提取特征? 传统机器学习 深度学习 手工提取特征 自动学习特征 非端到端 端到端 特征是什么? 关键信息 特征的性质? 最好对缩放、旋转等变换鲁棒 => 数据增广 (dat...