线性代数
标量
标量由只有?个元素的张量表示 ![在这里插入图片描述](https://img-blog.csdnimg.cn/3f51edc6452e48a6957fa5b996dd9111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70)
向量
以将向量视为标量值组成的列表。我们将这些标量值称为向量的元素(elements)或分量(components) ![在这里插入图片描述](https://img-blog.csdnimg.cn/c575cb737feb46db8cfce536f7a6d8e7.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/18a3c265d8a241aca3f0fba49066c7cc.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/7bf0b557358f4316aadc471939a1bcd1.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70)
矩阵
向量将标量从零阶推?到?阶,矩阵将向量从?阶推?到?阶 ![在这里插入图片描述](https://img-blog.csdnimg.cn/c126f57345b7496db44f8022f4f163e3.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/f9936ece76b544f9be0cfc0df463472a.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/c9e0da3e77194b0a8ba92272ebec557a.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/8a4dae1b7ae14ebf9ca8f9e72dfda2ba.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/b3ef8c18168a42d5a3d3c5da279f72d5.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/cd99c8c9ad4f462692a0a47bf5678dcc.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) ![在这里插入图片描述](https://img-blog.csdnimg.cn/dad508bc686d46a98267c80cf76c026f.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70)
线性代数实现
标量
标量由只有?个元素的张量表示 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2e244307124b4ddeab83f2a8dc795dab.png)
向量
将向量视为标量值组成的列表 ![在这里插入图片描述](https://img-blog.csdnimg.cn/3cd2f713c1e54033bbe4074f1d9dbcbf.png) 可以使用下标来引用向量的任?元素 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ad11ffb51bb643c3979783c67b6765f3.png) 通过调用Python的内置len()函数来访问张量的长度 ![在这里插入图片描述](https://img-blog.csdnimg.cn/4899755848564e89af88754ebb054e61.png) 用张量表示?个向量(只有?个轴)时,可以通过.shape属性访问向量的长度 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ba38aef1b0974f3d9782a207b51c3aca.png)
矩阵
通过指定两个分量m和 n来创建?个形状为m × n的矩阵 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e8496b6a4ab14a06ac46751a87a1823f.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 矩阵的转置 ![在这里插入图片描述](https://img-blog.csdnimg.cn/892c620127204b96a120e2b6498fccd4.png) 对称矩阵(symmetric matrix)A等于其转置:A = A?,并将B与它的转置进??较 ![在这里插入图片描述](https://img-blog.csdnimg.cn/3b8f927a4c864bb8b95e2718744090d2.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/d42f3b455b9249f491d77e3a5269da22.png)
张量
像向量是标量的推广,矩阵是向量的推广?样,我们可以构建具有更多轴的数据结构 ![在这里插入图片描述](https://img-blog.csdnimg.cn/b5315740d5cc4e3285b128077622f5fa.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70)
张量算法的基本性质
给定具有相同形状的任意两个张量,任何按元素?元运算的结果都将是相同形状的张量; 注:通过分配新内存,将A的?个副本分配给B ![在这里插入图片描述](https://img-blog.csdnimg.cn/85310269dcfd491e88877f7ff6e2ab4e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 两个矩阵的按元素乘法称为哈达玛积(Hadamard product)(数学符号⊙) ![在这里插入图片描述](https://img-blog.csdnimg.cn/6e5412a36d60494fa0d22df07d3e766c.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 将张量乘以或加上?个标量不会改变张量的形状,其中张量的每个元素都将与标量相加或相乘 ![在这里插入图片描述](https://img-blog.csdnimg.cn/b5b14b2f76fc49eebeddd669899dad89.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70)
降维
可以对任意张量进行的?个有?的操作是计算其元素的和 ![在这里插入图片描述](https://img-blog.csdnimg.cn/8513b3d906454a6b8e1f8c1213e8aefc.png) 可以表示任意形状张量的元素和 ![在这里插入图片描述](https://img-blog.csdnimg.cn/916a20554d7f4ed28989773175072027.png) 指定求和汇总张量的轴 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e7cc450b2c62419c95fb5ad9cd791973.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 指定axis=1将通过汇总所有列的元素降维(轴1) ![在这里插入图片描述](https://img-blog.csdnimg.cn/c7266d7d34784799ae965a8d2b027502.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 沿着行和列对矩阵求和,等价于对矩阵的所有元素进行求和 ![在这里插入图片描述](https://img-blog.csdnimg.cn/a12ec0c3794e43098600db6978368f55.png) ?个与求和相关的量是平均值 ![在这里插入图片描述](https://img-blog.csdnimg.cn/93cb4e61c6a944a69f48dc166c0fc1a7.png) 计算平均值的函数也可以沿指定轴降低张量的维度 ![在这里插入图片描述](https://img-blog.csdnimg.cn/89d6107e74d141288b1e236097a3c377.png) 非降维求和:调用函数来计算总和或均值时保持轴数不变会很有用 ![在这里插入图片描述](https://img-blog.csdnimg.cn/fb1031442f2b4e3d96eb578bbc6bc676.png) 可以通过?播将A除以sum_A ![在这里插入图片描述](https://img-blog.csdnimg.cn/5ed49067424241daae631ec94bc97e1f.png) 沿某个轴计算A元素的累积总和,可以调?cumsum函数,此函数不会沿任何轴降低输?张量的维度。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/c955749e88844aa89e684001b5ec08c3.png)
点积
点积是相同位置的按元素乘积的和 ![在这里插入图片描述](https://img-blog.csdnimg.cn/c52023402a6c401b9b313f7449fe9f61.png) 可以通过执行按元素乘法,然后进行求和来表示两个向量的点积 ![在这里插入图片描述](https://img-blog.csdnimg.cn/f474145cf2a641f4b94b13fa4029adbd.png)
矩阵-向量积
执行矩阵-向量积 注意:A的列维数(沿轴1的长度)必须与x的维数(其长度)相同 ![在这里插入图片描述](https://img-blog.csdnimg.cn/4dc3f9ea78c8410ca9e7e4854205d559.png)
矩阵-矩阵乘法
可以将矩阵-矩阵乘法AB看作是简单地执行m次矩阵-向量积,并将结果拼接在?起,形成?个n × m矩 阵。 注:在下面的代码中,我们在A和B上执行矩阵乘法,这里的A是?个5行4列的矩阵,B是?个4行3列的矩阵。 相乘后,我们得到了?个5行3列的矩阵。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/79790764468b425ead29426193c17405.png)
范数
假设n维向量x中的元素是x1, . . . , xn,其L2范数是向量元素平方和的平方根: ![在这里插入图片描述](https://img-blog.csdnimg.cn/33cb8cea39ae463baa3681aed39c15f8.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/f42ca2a9f97248c4b3ce8529d5f04fd9.png) L1范数表示向量元素的绝对值之和 ![在这里插入图片描述](https://img-blog.csdnimg.cn/9fde698910a04d2b8ab779001da19487.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/fc9410a08e0243ed9c0f9d1ba0552007.png) 弗罗贝尼乌斯范数(Frobenius norm)是矩阵元素平方和的平方根 ![在这里插入图片描述](https://img-blog.csdnimg.cn/6bf646420fe84258a43bca8b63b705fd.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/ae2dc5df8ba741b49f721cafed2d0b59.png)
按特定轴求和
![在这里插入图片描述](https://img-blog.csdnimg.cn/0e81495b394343fbbd124439a1dca4b7.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ3MDI5MzUz,size_16,color_FFFFFF,t_70) 参考: 动手学深度学习 05 线性代数【动手学深度学习v2】
|