2023年MIT公开课线性代数笔记.docx

目录方程组的几何解释 2矩阵消元 3乘法和逆矩阵 4A的LU分解 6转置-置换-向量空间R 8求解AX=0：主变量，特解 9求解AX=b：可解性和解的解构 10线性相关性、基、维数 11四个基本子空间 12矩阵空间、秩1矩阵和小世界图 13图和网络 14正交向量与子空间 15子空间投影 18投影矩阵与最小二乘 20正交矩阵和Gram-Schmidt正交化 21特征值与特征向量 24对角化和A的幂 24微分方程和exp(At)（待处理） 25对称矩阵与正定性 25正定矩阵与最小值 27相似矩阵和若尔当型（未完成） 28奇异值分解(SVD) 29线性变换及对应矩阵 30基变换和图像压缩 32NOTATIONp：projection vectorP：projection matrixe：error vectorP：permutation matrixT：transport signC(A)：column spaceN(A)：null spaceU：upper triangularL：lower triangularE：elimination matrixQ：orthogonal matrix, which means the column vectors are orthogonalE：elementary/elimination matrix, which always appears in the elimination of matrixN：null space matrix, the “solution matrix” of AX=0R：reduced matrix, which always appears in the triangular matrix, “IF00”I：identity matrixS：eigenvector matrixΛ：eigenvalue matrixC：cofactor matrix关于LINER ALGEBA名垂青史的分析方法：由具象到抽象，由二维到高维。

方程组的几何解释1. 行图像，列图像2. 矩阵乘法：方法一. 列向量的线性组合方法二. 左行乘以右列 3. 矩阵右乘向量（竖直）：矩阵列的线性组合4. 矩阵左乘向量（横平）：矩阵行的线性组合矩阵消元1. 课程目的：讨论消元法有效，以及无效的情况 用矩阵语言描述消元法2. 消元有效和失效a) 消元目的：把A矩阵化为U矩阵（主元不能出现0）b) 消元失效：主元是0：行互换可以解决主元为0的暂时性失效，但当底下的行中再也没有非0元素时，消元就彻底失效了3. 用矩阵来表达矩阵变换（消元）a) 例：b) 针对上一例，假设总变换E=E32E21，，这个矩阵对于消元法中出现的乘数来说太不直观了，然而E-1=E21-1E32-1,这个逆比较直观，由于它们是初等列变换的逆变换，只用改变乘数的系数就可以得到它们的逆，这就引出了下一章的内容：A的LU分解a+b+c+d=a+b+c+d4. 置换矩阵乘法和逆矩阵1. 矩阵乘法的四个方法AB=Ca) 左行乘右列b) 线性组合列=a+b+c+dc) 线性组合行 =a+b+c+dd) 左列乘右行 2. 矩阵的逆a) 只有方阵才也许可逆（非方阵也可以求逆矩阵，但是是伪逆）b) 左逆等于右逆c) 没有逆的情况i. 行列式为0，列向量共线ii. 存在非零向量X，使AX=0（零空间有非零元素）d) 存在逆的情况i. 求逆和解方程组是一回事ii. Gauss-Jordan消元法例：环节： 就是所求的A-1。

3. 求逆总结a) 正交矩阵Q-1=QTb) 上三角或者下三角矩阵求逆：i. 例：ii. 例：c) 克拉默法则求逆（代数余子式）A的LU分解1. 假设A和B都可逆，(AB)-1=B-1A-1,由于括号可以移动,就像先脱鞋子，再脱袜子，逆动作是先穿袜子，再穿鞋子2. (A-1)T=(AT)-1(转置和逆可以颠倒)3. A的LU分解a) 例：A=，对其进行消元，目的是得到Ui. = A L Ui.ii. A=LUA=L’DU’d) 3*3矩阵的情形i. E32E31E21A=UA=E21-1E31-1E32-1UA=LUii. 例：E31E21=E和(E21)-1(E31)-1=L的例子：求E不容易，但是想要得到L，只要把所有消元乘数写进来，就可以得到！iii. 总结：E不好求，E不重要，好求的是L，重要的是Le) 一个n*n矩阵A，消元需要多少次？（“一次”：一般乘法+减法一次） n2+(n-1)2+…+22+12=f) 考虑行互换的情形：转置与置换(3*3)i. 互换0行：Iii. P12=iii. P13=iv. 总共有6种。

v. 假如取逆，只要把行换回去即可逆矩阵仍然在这六个里vi. P-1=PT4. 总结：A的LU分解，U是直观上看的消元得到上三角矩阵的结果，L比较特殊，它记录了每一次的行变换要注意的是，由于L是初等变换矩阵的逆矩阵，所以L中对角线元素的符号不发生改变，但是要取倒数；而其他元素的符号均发生改变转置-置换-向量空间R1. 置换矩阵：P,用来完毕行互换的矩阵2. 置换矩阵是行重新排列了的单位矩阵3. 置换矩阵的逆矩阵和它的转置矩阵相等PTP=I.4. 转置矩阵（略）5. 对称矩阵：symmetric matrix，转置后和原矩阵相等（注意：对角线两边符号不同也有也许是对称矩阵，满足AT=A即可）6. ATA一定是一个对称阵7. 向量空间：向量张成的空间8. 由于向量乘以0必须在向量空间里，所以向量空间的子空间必然过原点9. 一个向量空间自身就是它自己的一个子空间它是最大的子空间10. 零向量是所有实空间的子空间它总是构成最小的子空间11. 矩阵如何构造子空间？1.1 通过列向量构造每列的元素个数m代表这个列向量属于几维的空间，假如列向量个数n＜m，代表这个矩阵展现的是“降维打击“，此时列向量的所有线性组合（列空间）构成一个子空间。

1.2 个人将其命名为“棒型矩阵”求解AX=0：主变量，特解注：主元，每行的第一个非零元素1. 课程目的：AX=0的算法是如何的？2. 消元时要保证：零空间不会改变3. 若主元为0，则看下面是否有可以互换的行，或右边是否有可以互换的列4. A的目的是化为阶梯矩阵5. 非0主元的个数：秩，这就是秩在算法下的定义6. 化为阶梯矩阵后，寻找主变量先找到主元所在的列（主列），剩余的列称为自由列，表达可以任意分派数值给这些列所相应的解向量的元素例如：=0 中，c1和c3是主列，c2和c4是自由列，所以x2和x4可以自由赋值，而x1和x3需要解出7. r（rank）表达的是起到作用的主元个数，也就是起作用的方程个数，n-r=自由变量的个数=不起作用的方程个数=零空间的维数8. 简化行阶梯矩阵：让主元上下都是0，包含了所有信息，涉及主行和主列，单位矩阵（主行和主列交汇处），0行表达这一行是非0行的线性组合9. 简化的环节相称于回代10. R=，F是自由矩阵，I是r*r单位方阵如何用这个矩阵解出所有特解？构造一个零空间矩阵N，它的各列由特解组成 N=, RN=0.11. 矩阵主列的个数与其转置相同12. X=cN.求解AX=b：可解性和解的解构1. 一方面要交代的是：AX=b不一定有解，是否有解要通过消元来判断。

2. b要满足什么条件，AX=b才有解？a) b属于A的列空间b) 假如A各行的线性组合得到零行，b中同样线性组合也得到0.3. 假如有解，如何求解？a) 找一个特解：将所有自由变量设为0，解出AX=b中的主变量b) 特解加上零空间中的任意X，最终结果是所有解为什么？？？ 由于Axp=b，Axn=0所以A(xp+xn)=Axp+Axn=b+0=b. c) 对于方程组某解，它与零空间里任意向量之和仍然是方程组的解d) 注：零空间的一组基向量，往往也被称为“基础解系”4. 列满秩：r=n

3. 二位平面内任意三个向量一定线性相关a) 饼型满秩矩阵各列线性相关！由于零空间不为零！b) 棒型满秩矩阵各列线性无关！由于零空间为零！4. 向量组张成的空间：这个空间涉及向量组向量的所有线性组合5. 向量空间的一组基：一系列向量，它们数量不多不少，既可以张成这个空间，也线性无关6. 基有很多组，但它们里面的向量个数都是同样的7. 列向量线性相关，矩阵零空间不为零8. 列向量线性无关，矩阵零空间只有零 9. 零空间的维数是自由变量的数目10. 行相关即列相关！四个基本子空间1. 四个基本子空间：a) 列空间C(A)b) 行空间：A的行的所有线性组合，也是AT的列空间，C(AT)c) 零空间N(A)d) AT的零空间N(AT)，A的左零空间2. A的零空间在Rn里3. A的列空间在Rm里4. A的行空间在Rn里5. AT的零空间在Rm里6. 这些子空间的基是什么？维数是多少？a) 列空间的维数是r，它的一组基就是主列b) 行空间的维数是r，它的一组最佳基就是R的前r行（不是A）c) 零空间的维数是n-r，即自由变量的个数，即特殊解的个数；它的基是自由列，寻找产生零列向量的线性组合d) AT零空间的维数是m-r，寻找产生零行向量的线性组合，零行所相应的E的行就是基的元素。

i. E=, EA=Rii. 通过E可以知道左零空间的维数和基7. 行变换对行空间不产生影响，但是对列空间产生影响8. 总结：行空间和零空间在Rn里，它们的维数相加=n 列空间和左零空间在Rm里，它们的维数相加=m9. 总结：子空间必须对线性运算封闭（涉及数乘0），过原点10. 一种新的向量空间：所有3*3矩阵！把矩阵当作向量，由于它服从向量空间的运算律矩阵空间、秩1矩阵和小世界图1. 矩阵空间：把矩阵看做向量，这些矩阵组成的集合2. 矩阵空间的秩：假如是3*3矩阵，秩为93. 矩阵空间子空间：3*3对称矩阵空间的秩：64. 矩阵空间子空间：3*3上三角矩阵空间的秩：65. 矩阵空间子空间的基 不一定都是原矩阵空间的基6. S∪U不是M 的子空间，因其方向不同定义S+U=S中任意元素+U中任意元素7. dim（M）=9，dim(S)=6，dim(U)=6, dim(S∩U)=3,。