用的什么教科书？
Elementary Linear Algebra - A Matrix Approach, 2nd Ed., by L. E. Spence, A. J. Insel and S. H. Friedberg
为什么要学习线性代数？
线性系统有很多application：
信号系统、计算机graphics、Google PageRank（2013年之后就不再update了）线性代数中最重要，最原始的基本概念有哪些？
chapter1、chapter2、chapter3：- 讨论的是，有一个线性系统，给你输出，问你，什么样的输入能够得到这样的输出？到底有没有solution？这个solution是唯一的吗？我们怎么找到这个解？
chapter 4
- 输入是一个集合，集合中的每一个元素给你，你都会得到一个输出，第四章问的问题是，你怎么描述这样的一个“集合”？——当然用的不是集合这个概念进行描述的，会用另外的词汇，描述线性系统输出的所有总和
- 维度的概念
- 描述这个集合的方法有很多种，你可选择比较容易的方法来描述这个集合，你的线性系统就会改变，可能会变得简单的线性系统。
chapter 7
- 假如，我们指定的输出不在我们输出的集合中。但是我们怎么在可能的输出中，找到一个和指定输出最近的呢？
chapter 5
- eigenXXX
- 有些线性系统，它会有些特殊的输入，它们的输出是乘上了一个scalar
线性代数讨论的是什么问题？
- 线性系统
- 现实生活中如何利用和使用线性代数来分析和解决问题？
线性代数这门课讨论的是什么？
线性代数这门课讨论的就是线性系统；
什么是线性系统？
线性系统有两个基本的特点：
一个是可加性；
一个是可乘性；
叠加性(preserving addiction)和齐次性（preserving multiplication）
在这门课中，我们会针对线性系统做哪些了解和分析？
- 给你一个线性系统，然后还有这个线性系统的输出，接下来问你，怎么样的输入会有这样的输出？
线性系统会关心什么问题？
接下来就有不同的问题，需要讨论（前3章讨论的问题）
1）到底有没有输出？
2）如果找到某种输入可以得到这样的输出，那么它是唯一的吗？
3）第三个问题是，怎么找到这个解？
4）最后，讲一下行列式
从第四章开始，我们讨论的问题是？更General？
输入是一个集合（set），输出也是一个set，那么如何描述一个set呢？（其实并不是用集合的词汇）
维度的概念，维度到底指的是什么？
维度的描述，有很多种，你可以选择一种简单的方式，当你选择之后，你的线性系统就会发生改变。
第七章，假设我们想要的输出，不在指定的输出集合中，那我们会找个最接近的
第五章，讲eigenXXX，
滤波器，某种类型的信号被放大，或被缩小。
结论：要学好线性代数。
Linear System = A system of linear equations（多元一次联立方程）
m个equation，n个variables
线性代数中基本概念？
function f、Domain(定义域)、Co-Domain（对应域）、Range（值域）、值域是对应域的子集、one-to-one（一对一）、Onto（映成）、Co-domain= range
微分是线性的Derivative
https://youtu.be/ZexDYHpmID8?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=840
积分也是线性的 Integral
https://youtu.be/ZexDYHpmID8?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1011
连一个function都可能是一个向量
A Linear System is described by a system of linear equation
https://youtu.be/tpNFMU7KsEU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=851
两个人因为相爱在一起，和两个人在一起会相爱，是不一样的意思。
符合这8个特质的就叫做向量；
什么是matrix，可以想象成一组vector的集合
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=86
今天讨论的问题是，线性系统是不是有解？
linear combination???
span???
如何理解矩阵和向量相乘
矩阵和向量相乘，其实就是对矩阵的列向量做linear combination
Ax = b 是不是有解，等价于，
Non empty solution set
Has soulution or not?
consistent?
同时，等价于，b是不是A的column的line
linear combination
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=737
从linear combination的角度，分析这个线性系统是不是有解？
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1064
只要u和v不是平行的（2维向量）， 且不是0向量，那么一定是有解得
但是对于3维向量，3个向量都不是平行的，仍然不能保证能够扫过整个R3空间。为什么？请看https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1188
这里涉及一个independent的概念，如果，3个向量是independent的，才能扫过整个R3空间
有解和平行，并不是充要条件。
u和v非平行，一定有解。
有解的话，u和v也可能是平行的
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1382
什么是Span
一个Vector set中所有向量的linear combination（穷举所有的coefficient）构成的向量的空间几何就是span
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1945
什么是stand vector？
有没有解的陈述，可是换一种说法
- Has solution or not?
- Is b the linear combination of column of A
- Is b in the span of the columns of A
https://youtu.be/-E67rZSjTNI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2023
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=665
dependent 和 independent 的概念
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1256
只要有zero vector的话，这个vector set一定是dependent。
dependent和有解没有解是没有关系的。
dependent的影响是，如果你的System of linear equations有解，你就有无穷多个解。
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1536
什么是homogeneous?
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1832
只要constant term是 zero vector，那么就说这个linear equations是homogeneous
Ax = 0有非零的解，那么A就是dependent，为什么？因为dependent就是这样定义的呢。
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2098
https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=81
在有解的前提下，有多少个解呢？
How many solutions?
the columns of A are independent
或者换一种说法：Rank A = n
或者换一种说法：Nullity A = 0
唯一解。
另外一种case，A的columns是dependent，
Rank A < n;
Nullity > 0;
无穷多个解。
只有两种可能，有唯一的一个解，或者无穷多个解？如何理解？ https://youtu.be/34HlThINCsc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=266
定义rank的时候，需要用到dependent和independent
什么是Rank，什么是Nullity?
https://youtu.be/34HlThINCsc?t=2489
什么是一个Matrix的Rank呢？
你可以找到最多的independent的column的数目；
https://youtu.be/34HlThINCsc?t=2555
Nullity的定义是什么呢？
Nullity = number of columns - rank
Dependent(Linear dependent 线性相关) 和Independent的定义是什么啊？
矩阵A的column vector的线性组合可以得到zero vector。而且coefficient not all zero。
有一组标量（scalar）不全为0，标量乘上对应的向量，得到zero Vector.
https://en.wikipedia.org/wiki/Linear_independence
今天要学习的内容是，如何解一个linear system of equations
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=322
equivalent（等价的）什么是等价。
如果两个system of linear equations有同样的解，那么说，这两个system of linear equations是equivalent
以下的操作不影响solution
- interchange(交换)
- scaling（缩放）
- row addition(行相加)
augmented matrix增广矩阵
什么是增广矩阵
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=653
什么是elementary row operation?（行变换？）
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=915
reduced row echelon form(RREF)(简化行梯形形式)
RREF
什么是row echelon form（要满足两个条件）
- 所有nonzero row都在zero row上边
- the leading entries（每一行中，第一个不为零的数） are in echelon form
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=989
什么是Reduced row echelon form（要满足三个条件）
1-2. 和row echelon form一样
- the columns containing the leading entries are standard vector（什么是standard vector，类似这种[0 0 1 0 0]）.
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1265
reduced row echelon form是unique的
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1465
接下来要补充的一个概念是Pivot column
什么是pivot positions
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1640
有pivot position的column就是pivot column
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1672
什么是basic variables，什么是free variables?
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1942
parametric representations 的定义
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2017
练习高斯消去法没有什么意义，只是为了让你心情平静些？
https://youtu.be/zuTH1WdREkY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2235
今天这节课的内容是，我们能从reduced row echelon form学到什么？
https://youtu.be/ObibwhRY8xc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=26
Reduced row echelon form 和 linear combination的关系
Column correspond theorem
Column correspond theoremd的另外一种陈述方法
Ax = 0 和 Rx =0 一定会有同样的解，（为什么，因为对zero vector 做elementary operation，之后的结果仍然是zero vector）
https://youtu.be/ObibwhRY8xc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=977
https://youtu.be/ObibwhRY8xc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1329
重要结论：
column
- 对于一个matrix A，做完reduced row echelon form之后的矩阵R，column之间的关系是不变的，column之间的承诺，不会因为elementary row operation而改变。
- 但是columns 的span会发生改变
row - the relations between the rows are changed,
- the span of rows are the same.
reduced row echelon form 和 Independent的关系
所有不是pivot columns，它们都是出现在它们左侧的pivot column的线性组合
pivot column一定都是independent
https://youtu.be/G-afSDZgEVI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=265
pivot column一定是standard vector
为什么对于一个33的 linear indenpend的矩阵来说，一定能够化简成indentity matrix
因为column的correspondence不会因为做row operation发生改变，变换之前是linear independence，变换后仍然是linear independence。又因为，RREF的结果是standard vector，而且要符合RREF的定义，leading entry 要在右下边，所以结果只能是identity matrix
https://youtu.be/G-afSDZgEVI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=316
34的矩阵不可能是linear independent
https://youtu.be/G-afSDZgEVI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=682
矮胖型的矩阵一定是linear dependent（我的理解，一定有冗余信息）
https://youtu.be/G-afSDZgEVI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=895
more than m vectors in R^m must be dependent
这里有一个非常直观的理解——矮胖型的矩阵，就是降维打击（hhh
https://youtu.be/G-afSDZgEVI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=959
reduced row echelon form 和 Rank
什么是rank
就是有多少个independent的column？
因为Reduced row echelon form的column relationship和A的column relationship是一样的，所以RREF的rank和A的rank是一样的
结论：rank的数据= pivot column的数目 = Number of Non-zero rows(leading entries 的数目)
https://youtu.be/UaBRpTMX98c?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=152
第二个结论：Rank（A） <= min(number of columns , number of rows)
https://youtu.be/UaBRpTMX98c?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=266
Basic, Free variables v.s. Rank(三者之间的关系！！！)
3个useful equations = 3 个basic variables = 3个Non-zero rows = rank
No. column - Non-zeor row= nullity
https://youtu.be/UaBRpTMX98c?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=650
nullity和zero rows的数目是没有半毛钱关系的
https://youtu.be/UaBRpTMX98c?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=810
什么是rank？
- rank是最大的independent column的数目
- rank是pivot column的个数
- rank是reduced row echelon form的non-zero rows的个数
- rank是number of basic variables
reduced row echelon form 和 Span
有没有解（inconsistent），就看rank(A)和Rank(A,b)是不是一样的，不一样，就以为着没有解
https://youtu.be/mSMh27SxKbM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=151
为了让Ax=b一定有解，那么必须保证Rank(A) = No. of rows，为什么，请看：
https://youtu.be/mSMh27SxKbM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=661
这里有个结论，如果有m个independent的vector，你就可以span一个R^m的空间
接下来讨论的是full rank的矩阵有什么特性
https://youtu.be/mSMh27SxKbM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1125
对于一个瘦高的矩阵来说，如果rank = n，那么它的reduced row echelon form一定是[I ;0]
如果一个matrix的rank = m，那么这个矩阵一定的矮胖的矩阵;而且这个矩阵一定有解，到底有一个解，还是有无穷多个解？https://youtu.be/mSMh27SxKbM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1252
第二章，讲的是，矩阵的相乘
我的期望得到回答的问题，为什么inner product，是向量的投影
矩阵相乘，其实是线性系统的组合。可以这样理解吗？
如何理解矩阵相乘，（这样记，不会忘记）
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=291
角度0：高中生的观点，
A的row，B的column，做inner product角度1： 从linear combination的角度看矩阵相乘
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=424
C= AB ,后边的这个B，可以看成很多个输入，
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=726
相乘这件事，可以看成两个线性linear system的composition
那么什么是composition？
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=753
【g。f】的（圈圈是中间的位置）含义是，输入x，先经过f，然后经过ghttps://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=844
- 角度2：从linear combination of rows
从行的角度考虑，两个矩阵相乘。
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1306
- 角度3，矩阵相乘，可以看做是summation of matrices
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1560
矩阵相乘，可以看做是一堆rank是1的矩阵，相加
Block Multiplication,用这种方法可以简化矩阵的计算过程https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2492
矩阵相乘的性质，
AB 不等于 BA
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2893
(AC)^T = ？ (A乘上C的转置是什么)
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3342
(AC)^T = C^T A^T
一些特殊的matrix
Diagonal Matrix
对角矩阵
Symmetric Matrix
A^T = A
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3486
矩阵相乘，不同的顺序，可能导致不同的运算量
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW &t=3647
什么是矩阵的逆(what’s the inverse of matrix)
matrix inverse
类比，什么是一个function的 inverse。
把什么东西丢到f里边，都能够通过g还原回来，
同样的，把什么东西丢到g里边，都能够通过f还原回来。https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=171
什么叫做A和B互为inverse，什么叫做B和A互为inverse
为什么，
说法1：对于任何一个Vector v， 先丢到A里边，再丢到B里边，得到的输出和输入一样。同理，对于任何一个Vector v，先丢到B里边，再丢到A里边，得到的输出和输入一样，那么A和B，这两个矩阵就是互为inverse。
说法2
AB = I;
BA = I;
那么A跟B就互为inverse；
这两个说法是一致的，如何理解？
因为矩阵相乘说的就是，把两个系统compose起来，A和B乘一起，就等同于得到一个新的function，这个新的function，输入什么就输入什么，那这样的系统是什么呢？就是Identity matrix
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=317
以下是课本上的定义：
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=406
这一引入新的概念，singular，和non-singular。
如果一个矩阵是invertible的，那么就说这个矩阵是Non-Singular
为什么叫Non-Singular呢？
因为Singular是单一的，不是成双成对的，如果A有一个inverse，有一个伴，就说明它是Non-Singular。
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=493
有这样一个有趣的事实，在讨论一个matrix是不是invertible，都讨论的是Square Matrix。
为什么？
直观的理解，你把高纬度的东西降低到低纬度上后，你无法再从第维度上，把高纬度的信息还原回来的
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=782
并不是所有square的matrix都是可逆的
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1135
可逆这件事是唯一的。
这样理解，这个世界上有很多矩阵，有一些是有伴侣（Non-Singular），剩下的就是没有伴侣的(Singular)，有伴侣的矩阵，都是有唯一的伴侣。
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1297
如果A和B都是invertible，那么AB也是invertible的，这里是证明
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1429
(A^T)^-1 = (A^-1)^T，很神奇的一个步骤，为什么？
利用定义证
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1501
这里引申一个问题，
为什么，(AB)^T = B^TA^T
从矩阵的维度上回答这个问题
https://youtu.be/yO8lDzf4jMs?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3382
利用inverse来解，线性方程组，请看
其实这种方法有点舍本逐末。因为计算inverse of A的时候需要计算 reduced row echelon form
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1708
观察inverse of A能够学到一些东西，什么东西，很好奇！？
https://youtu.be/fOK-bLERPUM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1861
接来下要问的问题是，什么样的matrix有inverse？（什么样的矩阵是Non-Singular）
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=30
一个square matrix 是invertible的，有十种等价的描述！！！【头大】
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=221
复习，One-to-one
如果一个矩阵是矮胖型的矩阵，那么它的input domain就比较大， output domain就比较小。那么它对应的function就不可能是one-to-one的
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=508
如果co-domain比较大，也不可能是one-to-one的。
总结：一个矩阵是one-to-one的，那么它的column是independent；
复习，Onto
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=804
总结，如果一个matrix是onto的，那么满足什么样的性质呢？
rank A = no. of rows
如果一个function，同时one-to-one，又是onto的，意味着什么呢？
意味着，input domain和co-domain是一样大的。
如何证明？
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1087
one-to-one就是一个萝卜一个坑的意思（太形象了）
onto的意思，是所有的坑里都有放萝卜。
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1177
one-to-one和Onto是一个意思
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1254
一个矩阵是不是可逆的，10种等价说法
分类来记忆
https://youtu.be/d43mGvCnuBU?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1420
一类是检查是不是onto，一类是检查是不是ont-to-one
最简单的方法是什么？直接检查reduced row echelon form是不是Indentity matrix
今天的主题是，How to find the Inverse of a Matrix
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=8
一种特殊的matrix（elementary matrix）
实际上Elementary row operation都可以表示成一个matrix。
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=172
所以，我们学到什么事情呢？
elementary matrix其实是干一件事情（互换、scaling、相加adding k times row i to row j），把这个作用作用到Indentity matrix上就能得到这个elementary matrix
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=293
接下来要告诉你的事情是，这些elementary matrix，你可以轻易地找到它们的reverse；
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=712
reduced row echelon form 这个操作可以换成一连串的matrix 操作
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=769
之前说过，把一堆invertible的matrix相乘，它们的结果仍然是invertible的。（说过吗？我已经没有印象了，如果证明，P-1 * P = I ）
PA = R
P = Ek···E2 E1
如果一个矩阵A是invertible的，那么它的RREF是In，等价于说，A是一连串的elementary matrix的乘机，为什么？
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=940
如何求解一个矩阵A的inverse？
构造一个[A I_n]
https://youtu.be/vV2ff0xFPbw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1514
从今天起，开始学习第四章
Subspace
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=6
有一些vector set可以叫做subspace
这一章讲的什么事情呢？
讲的是，同一个function、operator，matrix，从不同的观点看就是不同的事，观点就是coordinate system.
有一些Vector可以被叫做subspace
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=277
要满足三个条件（首先它是一个vector set），
- 第一条，zero vector 一定要在里边。
- u+v一定也在V里边
- u，乘上c，得到cu，也一定在V里边
subspace 和 span有什么关系呢？
span所产生的vector set一定是subspace。
每一个subspace都可以看成是由一组vector 做span所产生的。
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1417
Null Space：所有Ax = 0 的solution所构成的集合就是Null A
Null A = {v ∈ R^n:Av = 0}
Column Space
A ∈ R^{m*n} ==> Col A = {Av:v∈R^n}
Column space = range，如何理解？把A当成一个function，任意的输入对应的输出，构成的集合
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1722
这里有一个需要注意的结论：
根据column combination theory，column的关系不会发生改变，但是Col A ≠ Col R
为什么？
但是 Row A = Row R
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1880
Consistent就是有解得意思，
有解，现在有4种描述方式了
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1967
如果A的augmented matrix 的RREF中，有某一行，只有最后一个维度有值，那么它就是没有解得。
https://youtu.be/pXtXnY2b2-E?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2059
这节课的结论：
Conclusion ： Subspace is closed under addition and multiplication
Basis（基础、支撑）
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=17
- 什么是subspace的basis
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=122
一个vector set满足以下两个条件
(1) linearly independent
(2) genenration set of V
请复习，什么是subspace；（Subspace is closed under addition and multiplication，subspace是一个vector set，在里边的vector做线linear combination后得到的向量，仍然在这里边。同时这个vector set 包含zero vector，这两的 是vector set就是subspace）
A的pivot columns是Col A space的basis
为什么？
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=466
问题:每一个pivot column都要包含在 basis里边吗？（https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=912）
回答：pivot column是linear independent的，所以，你少掉其中一个，那今天，你构造column space的时候是有包含你少掉的那个pivot column，你用其它的pivot column做linear combination是没办法得到你少掉的那个pivot column，所以pivot column是缺一不可的。
basis is always in its subspace。
下来讲basis的重要的三个定理
theorem
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1068
- basis是最小的generation set。
- basis又是最大的independent vector set
- 一个subspace，可以有无穷多个basis。但是这些basis里边的vector的数量是一样多的。
接下里是3的证明
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1110
reduction theorem
每一个generation set 里边都有一个basis。
extension theorem
一个Independent set：我不是一个basis，就是一个正在成为一个basis
所以，所有的independent vector 一定包含在basis里边
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2778
麻将是4维空间中的游戏（hhhh）：https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3019
线性代数告诉我们的，如果你组一个队伍，如果有四个人，其中有一个人是多余的：https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3074
summary ：
把basis，想成一个雕像：
https://youtu.be/GB48DyvC14o?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3135
- 怎么检查一个东西是不是这个subspace的basis
接下来的内容是，如果给你一个vector set，怎么confirm它是不是一个basis
检查一个vector set 是不是generation set
检查两件事（1）坚持subspace的dim，（2）检查independent
接下来的内容是：讲一些耳熟能详、有名有姓的subspace 的特性。（讲3个）
https://youtu.be/aW0JVmpIxas?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=9
matrix的 col A(col space )
1. columns space的dim = A 的rank
matrix的 null A(null space )
matrix的 row A(row space )
怎么找它们的basis
怎么找它们的dim
https://youtu.be/aW0JVmpIxas?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=247
Rank(A)意味着什么？
https://youtu.be/aW0JVmpIxas?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=410
range的dim就是column space的dim，两者是相等的
这节课的summary
https://youtu.be/aW0JVmpIxas?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1255
接下来讲，coordinate system
coordinate systems是什么呢？是拿来描述vector的观点
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=99
如何从一个coordinate system换到另外一个coordinate system
由standard vector组成的coordinate system，叫做直角坐标系
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=238
什么样的vector set 能够拿来当coordinate system？
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=570
basis——
为什么是basis？
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=813
v代表什么？代表的是在直角坐标系中看到的vector
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1194
直角坐标系：
cartesian coordinate system(直角坐标系)
其它的坐标系转换到直角坐标系
other system ——> Cartesian
v = B[v]_B
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1435
Cartesian ——> other system
[v]_B = B^{-1}v
怎么在两个坐标系中，做任意的转换？
https://youtu.be/im3kTm9jGEM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1688
接下来讨论的问题是：
Linear Function in Coordinate System
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=27
同一个function，在不同的coordinate system里边看起来都是不一样的
为什么，我们要在不同的coordinate system里边描述同一个function呢？
在直角坐标系统，有一个复杂的function。在新的坐标系中，这个function就会变得简单。
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=210
Descrbing the function in another coordinate system
[T]_B在B的coordinate system中观察function T
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=652
这部分讲的内容是，从新的coordinate system的角度去观察function。比如在现在的坐标系中，你的函数很复杂，那么你能不能换个角度去观察这个问题呢？显然是可以的——用的coordinate system。
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1287
这里引入一个新的概念similar；
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1283
如何看这两个matrix呢？
A是一个linear transform，A’是另外一个坐标系下看待的linear transform。
关系是，是同一个linear transform，但是是在不同的世界（不同的coordinate system ）下看。
是同一个linear system，但是是在不同的坐标系看待，什么样的联系？
这节课的结论：
https://youtu.be/IrAdVhE6VqI?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW
接下来讲的是行列式determinant
https://youtu.be/7fXtSUrKND0?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2
给你一个matrix，都会对应到一个数值。根据这个值，你就能判断出关于这个matrix的一些性质
先学习一些cofactor expansion
https://youtu.be/7fXtSUrKND0?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=429
接下来要分析的内容是，properties of Determinats
可以视为，高维空间的体积
https://youtu.be/7fXtSUrKND0?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1531
determinant 有这三个性质
https://youtu.be/005nG8ZZVDE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW
这里有一个逻辑上的推导，
cofactor这么复杂，是怎么来的呢？
是由上边的三个性质推导出来的。
https://youtu.be/005nG8ZZVDE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=242
det对row是线性的，是一种很特殊的“线性”关系
有一个新的矩阵叫upper triangular matrix
这里有一个非常重要的结论
如果一个矩阵是invertible的，若且为若，det(A)≠0
https://youtu.be/005nG8ZZVDE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1689
这里复习一下，invertible，意味着什么，这里一共有11中描述方法，也就是说至少有11个视角
https://youtu.be/005nG8ZZVDE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1898
讲cramer’s rule,克莱姆法则
https://youtu.be/005nG8ZZVDE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2283
了解一下adjugate of A
第五章
从现在起，就进入eigenXXX的世界
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=7
第四章，我们提到，我们可以换一个coordinate system，看一个linear system，让这个系统看起来很简单。但是我们没有讲，如何找一个这样的coordinate system
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=49
什么是eigenvalue、eigenvector
什么是eigen（German word，代表unique to， belong to）
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=167
这里有一个前提，
- 我们讨论eigen的时候，我们的矩阵必须是suqare
- 我们是不讨论Zero vector
每一个matrix都对应一个linear function（或者叫linear operator）
这个例子告诉我们，一个matrix有两个eigenvector
这个例子告诉我们，任何一个vector都是eigenVector
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=760
并不是所有的matrix都有eigenvector
每一个eigenvector都对应到一个unique的eigenvalue
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1120
同一个eigenvalue会对应到很多的eigenvector
问题：同一个eigenvalue，它对应的eigenvector，所形成的vector set是不是一个subspace？
复习，subspace的定义
（我的理解：一个结界，跑不出去）
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1323
它不是一个subspace，因为，它没有zero-vector
eigenspace的定义
eigenvectors corresponding to lamda + {0}
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1537
确定一个scalar是不是eigenvalue?
很简单，你看看它的eigenspace，如果只有zero vector，那么就不是，否则就是
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1761
这里需要我们注意，nullity space也是一个很重要的space
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1813
How to find eigenvectors(given eigenvalues)
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1097
- 每一个eigenvector对应到（corresponds） 一个unique的eigenvalue
- 一个eigenvalues有无穷多个eigenvectors
Eigenvectors corresponding to lamda are nonzero sulution of (A-lamdaI_n)v = 0
eigenspace 就是(A-lamdaI_n)的null space
lamda的eigenspace = 和lamda相关的eigenvectors + {0}
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1725
如何确定一个scalar是不是eigenvalue?
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1733
就看它的eigenspace长什么样子，看看它的eigenspace的dim
如何看一个null space的dim???
（回忆之前检查subspace的大小的方法，看matrix的independent）
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1860
如何找eigenspace的basis?
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2112
如何从一个matrix到parametric representation
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2248
如何寻找eigenvalue?(Looking for eigenvalues)
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1818
什么是trace（把对角线相加）
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2620
什么是polynomial?
characteristic polynomial
characteristic equation
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3123
characteristic的特性
讲到eigenvalue之后呢reduced row echelon form作用就不大了，因为，一个matrix的characteristic polynomial和它的RREF的characteristic polynomial是不一样的
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3237
如何两个matrix是similar的，RREF和它本身有相同的character polynomial
意味着有用同样的eigenvalue.
什么是similar?
是同一个东西，在不同的坐标系(coordinate system)下看
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3731
cha-ra-te-ris-tic po-ly-no-mial的degree（order）是n
cha-ra-te-ris-tic
charateristic charateristic charateristic charateristic charateristic charateristic charateristic charateristic charateristic charateristic charateristic charateristic
接下来的问题是，这个N*n 的matrix会有多少个eigenvalue呢？
最多有n个根，
一些神奇的内容：
https://youtu.be/1RyHRIP8QGg?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=4282
接下来要讲的内容是Diagonalization
Di-a-go-na-li-za-tion
Di-a-go-na-li-z-able（可对角化的）
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=24
- 有一些矩阵可以做diagonalization
A = PDP^{-1} - 如何找到D和P
diagonazation有什么重要性呢？
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=81
如果一个矩阵是可对角化的，那么意味着它和某一个矩阵是相似的。相似意味着是同一个linear operation在不同的坐标系下观察。
因为对角化的矩阵很容易分析，所以这是简化问题的一个关键技能。
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=147
Diagonalizable和eigenvalue、eigenvector有关系
pi就是eigenvector，di就是eigenvalue
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=470
如何找到一个matrix的eigenvector和eigenvalue?
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=807
对于一个matrix先找到它的eigenvalue,然后就能找到这个eigenvalue对应eigenspace。eigenspace除了{0}之外，都是eigenvector
对角化，必须找到n个independent的eigenvector
如何对角化一个，matrix?
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1350
factorization（因式分解）
对应到不同的eigenvalue的eigenvector
都是independent的
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1542
从同一个eigenspace取出来的两个eigenvector有可能是independent
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1594
不同的eigenvalue对应的eigenvector一定是independent，的证明
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1938
有没有办法进行对角化，这里有一个推论
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2084
这里是一个例子，求一个矩阵的对角化矩阵
diagonalizable
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2264
对角化有什么应用？
https://youtu.be/TsB5_BiMFoo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2603
如何知道一个矩阵有没有办法被对角化
https://youtu.be/L7Y8wB3xzEc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=11
对一个linear function做diagonalization
https://youtu.be/L7Y8wB3xzEc?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1028
pageRank很长时间会被updated一次，这节课讲的就是pagerank(看的不是网页的内容，而是有多少其它的网页link到你的网页上，整个网络的结构)
https://youtu.be/pSg9TG_U_fY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=13
如果一个矩阵的column的和都为1，那么它一定有一个eigenvalue为1
https://youtu.be/pSg9TG_U_fY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=852
这个解是唯一的吗？（PageRank的分数是）
https://youtu.be/pSg9TG_U_fY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1019
这个矩阵M = （1-m）A + mS的eigenValue是unique
https://youtu.be/pSg9TG_U_fY?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1619
第七章——————————————->
接下来学习的是：Orthogonality
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=36
定义的一些名词：
norm什么意思？——一个vector的长度||V||
Distance，距离||v-u||
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=209
Orthogonal
Dot product(点乘)
如果两个vector做dot product之后它们是0，那么这两个vector是orthogonal
dot product的性质：
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=688
一个定理：
pythagorean theorem（毕达哥拉斯定理）
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1008
三角不等式：
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1402
能不能证明一下柯西不等式
https://youtu.be/hxI7stenqaw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1531
7.3-orthogonal projection正交投影
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=8
- 什么是orthogonal complement
S perb一定是一个subspace吗？
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=595
讲一个很重要的事情：
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=929
为什么要讲perb呢？
因为，任何一个vector，都可以拆解成u = w + z;而且，这个拆解是唯一的
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2459
Orthogonal projection
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2542
U_w(u)
Orthogonal projection is linear operation
为什么w和u的距离是最短呢？
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2880
orthogonal projection matrix
如何找出这个矩阵P_w
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=3201
李老师教你，如何记住Matrix C的orthogonomal projection matrix
（特别形象，天线宝宝中的丁丁长的就是这个矩阵）
matrix C代表什么啊？_代表的就是我们已知的matrix
matrix w代表一个subspace的W
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=4415
如何考虑投影这件事？
投影，是一个vector v投影到一个subspace里边【在subspace W中找到一个vector w，它距离 v最近】
orthogonal projection 到底有什么用呢？
假设现在没有解，那你能不能给我找一个最相似的解呢？
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=4740
最小而成近似 least square approximation
https://youtu.be/6WJikUaKKNo?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=4912
希望误差越小越好，这句话到底有什么的意思呢？
等同于vector e的norm尽可能的小、
e = y - a_0 v-1 - a_1 v_2 = y - C a
Orthogonal basis（今天讲的是）
https://youtu.be/98-0Q1ed3sM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=4
- 定义什么是orthogonal basis
定义什么是orthogonal set
https://youtu.be/98-0Q1ed3sM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=64
orthogonal set一定是independent的吗？
答案是：不是的
orthonormal set()
里边的长度都是1；
orthogonal decomposition theory()
https://youtu.be/98-0Q1ed3sM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=672
假设今天你的basis是orthogonal的，那么今天你就有一个比较简洁的式子，可以算出一个vector转到新的空间上边，它长什么样子
https://youtu.be/98-0Q1ed3sM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=782
如何为一个subspace找一个orthogonal的basis
我觉得非常直观
Gram-Schmidt process
https://youtu.be/98-0Q1ed3sM?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2161
如何把一组independent vector 变成orthogonal basis呢？
https://youtu.be/PzqVLldlHTE?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=87
span{v1,v2,···,} = span{u1,u2,···}
归纳法能够来证明这件事儿
接下来讨论的是
orthogonal matrix 和 symmetric matrix
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=28
Norm-preserving
长度不变
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=295
共同的特性
- column 是orthogonal
- column 和是1
orthogonal matrix它的column是orthonormal basis
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=644
norm-preserving <===> orthogonal matrix
和orthogonal matrix相关的5个性质
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1027
如何判断一个matrix是不是orthogonal的？
看A的inverse 和A 的transpose是不是一样的？！
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1937
哈哈:TT就是掉眼泪的意思，掉过眼泪就什么事情没有发生了
https://youtu.be/TmDYxL7HV68?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2031
Symmetric Matrices
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=6
- 特点，它的eigenvalue一定都是实数
u和v一定是orthogonal
如果一个矩阵是symmetric的，那么它一定可以写成 P^T A P = D
P is orthogonal matrix
D is diagonal matrix
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1105
为什么对于orthogonal matrix来说，P^T = P^(-1)
这个有直观的理解吗？
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1205
针对symmetric matrix来说，它一定是可以diagonalization的
这件事情有什么重要的呢？**
证明你找的的coordinate system是orthogonal basis
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1705
A = PDP^T
矩阵分解，分解出来的矩阵的rank都是1；
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1860
假设一个matrix是对称的symmetric的，那这个对称的matrix可以拆解乘成n个rank为1的matrix的weight sum,这些weight是eigenvalue
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2137
这个分解得到的matrix有一些性质
https://youtu.be/0ijUQ-RfN3I?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2296
下一个主题Beyond Vector
Vector 更general的形态
一个function也是一个vector，
https://youtu.be/o4dPfMkz_lw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=52
- 一个matrix是一个vector
- linear transform
- polynomial
- e^t也是一个vector https://youtu.be/o4dPfMkz_lw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=300
if a set of objects is vetor space, then the objects are vectors
https://youtu.be/o4dPfMkz_lw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=411
需要满足8个条件，你才能构成一个vector space
review:subspace
linear transformation
https://youtu.be/o4dPfMkz_lw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1695
isomorphism(同构)同样的架构
basis（general）
———->
general space中也有basis;
我的想法：对于FFT来说，它的basis是不是cos和sin函数呢？
https://youtu.be/o4dPfMkz_lw?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2934
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=168
同一个linear system 在不同的coordinate system 中是不一样的
微分，背后对应的matrix，长什么样子呢？
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=205
general eigenValue、eigenvector
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1180
transpose operator长什么样子？
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1324
找一下transpose的eigenvalue
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1502
接下来要讲的是inner product
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=1689
inner product是dot product更general的形式
Dot product是inner product的special case
inner product of matrix
Frobenius inner product
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2012
有了inner product就可以定义norm（长度）
inner product也可定义在function上边
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2211
定义orthogonal/orthogonormal basis有什么好处呢？
orthogonormal 的norm是1；
https://youtu.be/7E7ZzTJFeng?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=2659
Singular Value Decomposition
https://youtu.be/OEJ0wxxLO7M?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=24
和diagonalization作比较：
并不是所有的matrix都能做diagonalization，
但是，SVD就很神奇，它可以用在任何的matrix上：
https://youtu.be/OEJ0wxxLO7M?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&t=67
任何mn = mm mn nn
其中mm是matrix—-> U ——>column是independent的
其中mn(右边的)是matrix—-> 大sigma 是diagonal的，对角线是非负的，左上到右下是逐渐变小的
其中nn是matrix—-> V^T row 是independent的
2021年8月19日13:38:23
想知道的内容，没有矩阵分解的相关知识。
1、为什么要对矩阵分解。
2、矩阵代表什么？
样本矩阵$X = [\vec{x_1}, \vec{x_2},…, \vec{x_n}]$ ，每一列都代表一个样本，每个样本$\vec{x_i}$都是$d$维度的；
样本的协方差矩阵$\Sigma = [cov(d_1,d_1),\ cov(d_1,d_2), …, cov(d_1,d_d);…]$，每个元素代表的是两个维度的随机变量之间的协方差。对角线代表的是某个维度上随机变量的方差；
3、在PCA中，我要做的就是，降维后样本的协方差尽可能得小；
4、在ICA中，该怎么理解呢？