> 参考: https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d

# 隐（潜）空间
## 什么是隐空间？
数据压缩的表示。
学习数据的特征并简化数据表示以寻找**模式（pattern）**。


数据压缩用比原来更少的比特对信息编码。如19维到9维。

![image.png](/static/img/425fa097db42323a69c3af29b86257c0.image.webp)

如果训练一个模型，使用完全卷积神经网络(FCN)对图像提取特征。模型通过数据点学习时，降维有损压缩。然后再增加维度。模型学习时，学习每一层边缘角度等特征，将特征组合做特定输出。

![image.png](/static/img/8df570d626f862bf4d234bbd96930880.image.webp)
Latent space representation 隐空间绘制

输入时降维，解码器输出是由于需要重建（reconstructed）压缩数据，所以必须存储相关信息并忽略噪声，删除无关信息，保留重要信息。

**这种压缩状态是隐空间的表示**

## 隐空间的空间是什么？

![0_rZn-ksyRTUpDUxh7.gif](/static/img/7a1ef19d8db84d3adf584b3f1c9066d5.0_rZn-ksyRTUpDUxh7.gif)

<center>5x5x1数据</center>

![0_GRY4C_Ov5RYMn6Vi.gif](/static/img/3a35759d95c31742e2239e588c434f83.0_GRY4C_Ov5RYMn6Vi.gif)
<center>“隐空间”中的压缩 3x1 数据示例</center>
假设原始数据集是5x5x1。需要压缩数据到隐空间维度
3x1。那么压缩数据是具有三维的向量（为什么示例是三维，应为画图可以画出三维）

![1_djUvYgePXdjMbdbGsDq2eg.webp](/static/img/b0a00811f8b88f1d84bea4619971ac55.1_djUvYgePXdjMbdbGsDq2eg.webp)
<center>点（0.4、0.3、0.8）在3D空间中绘制</center>
但实际上可能是4维或者n维，虽然无法理解和画出但数学上成立。
每当我们绘制隐空间的点时，我们都可以将它们想象为空间中的坐标，其中“相似”的点在图上靠得更近。

## 隐空间的作用？
图像处理，生成模型。

## 自动编码器和生成模型

![0_dknVUIxkjQ3ZV8y0.webp](/static/img/344ce7b16c28782cefc37687b50857cb.0_dknVUIxkjQ3ZV8y0.webp)
<center>自动编码器的一般体系结构</center>

为什么做这个模型，如果只是为了输出自己那没意义。
但是，我们不关心模型输出什么而关心过程中模型 **学到什么**。

如果让模型变为恒等函数，我们强制将它数据所有相关特征用 **压缩表示层（compressed representation）** 表示，使得 
压缩表示层有足够信息，以便准确重建。 这种压缩表示层是隐空间表示层，如上图红色区域。


![0_6Nrb168aK7xoaV8b.webp](/static/img/1b08362e69fe5f04a8f6bca5f5976f5f.0_6Nrb168aK7xoaV8b.webp)
<center>通过潜在空间插值生成图像。来源：随机噪声矢量潜在空间的双线性插值</center>
通过对潜在空间进行插值来生成不同的面部结构.
使用我们的模型解码器将隐空间表示重建为与原始输入具有相同维度的二维图像。

![0_cYaaF2pFLECohCaI.gif](/static/img/70b33a73b1147ff21060d8ffc9704a60.0_cYaaF2pFLECohCaI.gif)
隐空间中两种类型的椅子之间的线性插值示例。

关于隐（潜）空间

> 生成模型不包含了扩散模型。
生成模型除了扩散模型外，还有VAE（variational autoencoder 变分自编码器) GAN（ Generative Adversarial Networks 生成式对抗网络）

### 最早的扩散模型DDPM（denoising diffusion probabilistic models）
扩散过程分为前向扩散和反向扩散

![image.png](/static/img/30964e196b87233d45122dbc18b5b0b7.image.webp)

<center>DDPM的扩散过程</center>

前向过程给数据加噪声
反向过程给数据去噪声->从噪声中回复清晰数据

问题:扩散模型生成速度慢。

#### 解决方案:使用采样器（离散化求解随机微分方程），采样器如Euler,SDE,DPM Solver++ ,Karras


#### 初期扩散模型质量和稳定性不如GAN生成对抗网络
《Diffusion ModelsBeat GANs on Image Synthesis》介绍了扩散过程如何使用显示分类器引导，使得扩散模型爆火。

### CLIP 多模态图像生成
CLIP 连接文本和图像的扩散模型，将同一语义的文字和图片转换到一个[隐空间](https://wiki.momen.world/post/227)中.如 Stable Diffusion DALL·E 图像扩散模型层。



> 图源：《扩散模型从原理到实战》ISBN：978-7-115-61887-0



扩散模型

> 咒语：提示词prompt
魔法师：写提示词prompt的人
炼丹：训练AI模型
炼丹炉：训练AI的地方
炼丹术士：训练AI的人
炸炉：指炼丹炼炸了，包括但不限于：CUDA OUT OF MEMORY、loss=nan、过拟合等


>文献出处：https://docs.qq.com/doc/p/230e7ada2a60d8e347d639edd5521f5e62332fe9


何为炼丹

AI黑话


![v2-0eb942478b9beb5cafae957bff92b19e_720w.webp](https://wiki.momen.world/static/img/3e78c9cbaf4c297520e2dca3194c6e79.v2-0eb942478b9beb5cafae957bff92b19e_720w.webp)
 
 ## 模型量化
 （如INT4、INT8、FP16、BF16等）
 INT4（4位整数）：
表示范围：-8到7或0到15，具体取决于是否使用有符号或无符号表示。
压缩率：提供了最高的压缩率，但精度较低。
适用场景：对于资源受限且对精度要求不高的应用。
INT8（8位整数）：
表示范围：-128到127或0到255，具体取决于是否使用有符号或无符号表示。
压缩率：较高的压缩率，相对较低的精度。
适用场景：适用于大多数应用，可以在减小模型大小的同时保持较好的性能。
FP16（半精度浮点数）：
表示范围：较广，但精度相对较低。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，如深度学习模型。
BF16（Brain Floating Point 16）：
表示范围：类似于FP16，但在某些情况下具有更好的数值范围。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，尤其是在硬件支持BF16的情况下。

## TensorFlow是什么
TensorFlow 是一个端到端开源机器学习平台

## 分类任务回归任务的区别
#### 分类任务：
    定义：分类任务旨在将实例数据划分到合适的类别中。
    示例：判断网站是否被黑客入侵（二分类）、手写数字的自动识别（多分类）、多目标分类等。
    输出：输出是物体所属的类别。
    值类型：输出是离散的。
    评估指标：通常使用准确率、精确度、召回率等指标。
#### 回归任务：
    定义：回归任务主要用于预测数值型数据。
    示例：股票价格波动的预测、房屋价格的预测等。
    输出：输出是物体的值。
    值类型：输出是连续的。
    评估指标：通常使用均方根误差（RMSE）等指标。
#### 联系：
    无论是分类还是回归，其本质都是对输入做出预测，并且都是监督学习。
    说白了，就是根据特征，分析输入的内容，判断它的类别或者预测其值。
#### 区别：
    输出不同：
        分类问题输出的是物体所属的类别，回归问题输出的是物体的值。
    值类型不同：
        分类问题输出的值是离散的，回归问题输出的值是连续的。
    目的不同：
        分类的目的是寻找决策边界，回归的目的是找到最优拟合。
    结果和评估指标不同：
    分类的结果没有逼近，对就是对，错就是错；回归是对真实值的一种逼近预测。

## 当模型在真正部署，需要模型压缩的时候，量化、剪枝、知识蒸馏等压缩方法一般会使用哪些呢？

#### A：量化是一个大部分硬件平台都会支持的，因此比较常用；知识蒸馏有利于获得小模型，还可以进一步提升量化模型的精度，所以这个技巧也会使用，尤其是在有已经训好比较强的大模型的基础上会非常有用。剪枝用的会相对较少，因为可以被网络结构搜索覆盖。https://zhuanlan.zhihu.com/p/132561405