Yi's Blog

Hey, this is Yi.

《通向奴役之路》梗概

第一章 被放弃了的道路 本章阐述了一种西方自由主义被放弃的危险趋势，并从根本否定了西方社会与德国社会存在本质的不同，其基本的思想根源是相同的，因此西方自由主义世界与德国一样存在被社会主义侵蚀的危险。作者认为西方自由主义是令其经济、科技发展飞速发展的根源，并在过去的时间内产生了惊人的成就，然而这也同时是许多西方观点逐渐导向社会主义的原因。由于自由主义在实践中的不完美使经济发展趋于缓和，因此追求...

Posted by Yi on November 12, 2023

数值分析梳理

数值分析的思维导图

Posted by Yi on January 18, 2021

线性代数梳理

线性代数的思维导图

Posted by Yi on February 26, 2020

辛普森悖论 - Simpson's Paradox

辛普森悖论 在数据分析过程中，我们通常根据数据本身产生结论，然而我们需要格外小心，以免掉入统计分析的陷阱，得到与事实相悖的结论。辛普森悖论阐述了一种将数据综合考虑而产生的谬误。 加州大学伯克利分校的性别偏差 有人对加州大学伯克利分校的研究生录取情况做调查。研究期间，加州大学伯克利分校共得到$8,442$男性学生与$4,321$名女性学生的入学申请，但仅有$44\%$的男性学生与$35\%...

Posted by Yi on December 2, 2019

集成学习之Boosting

前言 集成学习（ensemble learning）是机器学习中的一大类算法。常规的学习器往往靠“一己之力”完成回归或分类任务，而集成学习主要是利用“以多胜少”的思想，训练多个分类器共同完成一个任务，常可获得比单一学习器显著优越的泛化性能。集成学习的思想主要分为Boosting，Bagging与Stacking，这篇笔记，我们主要聚焦Boosting的思想。 Boosting Boosti...

Posted by Yi on July 20, 2019

Batch Normalization

动机 神经网络在训练过程中，随着训练的进行，由于神经网络的权值不断朝着梯度方向变化，中间层的激活输出的分布也不断变化，因此后面的网络层需要根据前层输出的分布不断调整。当激活输出落入饱和区后，反向传播算法梯度难以向前传递。对神经网络的每一层作批归一化，可以稳定各层的输出的分布，同时避免激活输出落入饱和区，实现神经网络的快速训练。 训练 对于单层所有激活输出，各维特征独立作以下变换 \[\h...

Posted by Yi on July 19, 2019

Batch Normalization

动机 神经网络在训练过程中，中间层的激活输出的分布是不断变化的，因此后面的网络层需要根据前层输出的分布不断调整。当前层激活输出落入后层饱和区后，造成反向传播算法梯度难以向前传递。所以对神经网络的每一层作批归一化，可以稳定各层的输出的分布，同时避免激活输出落入饱和区，实现神经网络的快速训练。 训练 对于单层所有激活输出，各维特征独立作以下变换 \[\hat{x}^{(k)} = \frac...

Posted by Yi on July 19, 2019

线性空间(III)

线性变换

前言 线性同构是不同空间的间映射，本篇将介绍一种映射，将空间中的向量映射到该空间的另一个向量，该映射满足线性的性质，我们称它为线性变换。 定义 线性空间 设$V$是数域$F$上的线性空间，映射$T:V\to V$称为线性变换，如果对任意向量$\boldsymbol\alpha,\boldsymbol\beta \in V$和$\lambda\in F$,有 \(T(\boldsymbol...

Posted by Yi on April 28, 2019

线性空间(II)

线性空间的同构

前言 回顾第一部分内容，我们学习了线性空间的定义与其的基本性质及线性空间的维度和基。我们了解到线性空间所包含的含义十分广泛，不仅包含线性代数中的向量空间，还包含了函数空间、数列空间等其他的空间。那么，这些不同的线性空间之间又有什么关系与联系呢，我们是否能研究其中某一个线性空间，就能洞悉其他本质相同的空间呢？这一部分我们的主题是线性空间的同构。 在此之前，我们介绍数学中的几个概念。 预备知...

Posted by Yi on April 27, 2019

线性空间(I)

线性空间简述

数学科学研究问题习惯于将具体地事物分门别类，抽象出各个类别最本质的部分进行讨论。我们弄清楚类别共有性质，我们就可以将这些性质应用于属于这个类别的个例上。今天我们将学习一类集合，在此集合上定义元素间的加法与数乘。如果关于这两类运算封闭（运算结果仍是该集合的元素），那么定义了这两类运算的集合及其中的元素又有什么样的性质呢？这就是我们今天的内容线性空间。 线性空间的定义 在以下表达中，我们将集合...

Posted by Yi on April 25, 2019

FEATURED TAGS
数学 Math 神经网络 机器学习
ABOUT ME

生命不息，奋斗不止

✉️ yishuwen@whu.edu.com