关于 tensorflow
https://www.tensorflow.org/?hl=zh-cn
关于学习tensorflow 
https://www.tensorflow.org/resources/learn-ml?hl=zh-cn
关于社区
https://discuss.tensorflow.org/?hl=zh-cn

tensorflow transformer

### Google AI Blog
[research.googleblog.com](research.googleblog.com)
### Towards Data Science
[towardsdatascience.com](towardsdatascience.com) 数据科学类
### Analytics Vidhya
[www.analyticsvidhya.com/blog](www.analyticsvidhya.com/blog) 人工智能和数据科学类
### Kdnuggets 
[www.kdnuggets.com](www.kdnuggets.com) 计算机科学类 
###  Pete Warden’s Blog
[https://petewarden.com](https://petewarden.com)  人工智能相关
### Revolution Analytics
[https://blog.revolutionanalytics.com](https://blog.revolutionanalytics.com) News & Learning Resource
### DZONE
[https://dzone.com](https://dzone.com) 计算机相关信息
###  Codementor
[https://www.codementor.io/community/topic/data-science](https://www.codementor.io/community/topic/data-science)
代码技术类干货

### Data+Science 
[https://www.dataplusscience.com/insights.html](https://www.dataplusscience.com/insights.html) 数据可视化

### Edwin Chen’s Blog
[https://blog.echen.me](https://blog.echen.me) 人工智能类

关于AI网站

> 参考: https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d

# 隐（潜）空间
## 什么是隐空间？
数据压缩的表示。
学习数据的特征并简化数据表示以寻找**模式（pattern）**。


数据压缩用比原来更少的比特对信息编码。如19维到9维。

![image.png](/static/img/425fa097db42323a69c3af29b86257c0.image.webp)

如果训练一个模型，使用完全卷积神经网络(FCN)对图像提取特征。模型通过数据点学习时，降维有损压缩。然后再增加维度。模型学习时，学习每一层边缘角度等特征，将特征组合做特定输出。

![image.png](/static/img/8df570d626f862bf4d234bbd96930880.image.webp)
Latent space representation 隐空间绘制

输入时降维，解码器输出是由于需要重建（reconstructed）压缩数据，所以必须存储相关信息并忽略噪声，删除无关信息，保留重要信息。

**这种压缩状态是隐空间的表示**

## 隐空间的空间是什么？

![0_rZn-ksyRTUpDUxh7.gif](/static/img/7a1ef19d8db84d3adf584b3f1c9066d5.0_rZn-ksyRTUpDUxh7.gif)

<center>5x5x1数据</center>

![0_GRY4C_Ov5RYMn6Vi.gif](/static/img/3a35759d95c31742e2239e588c434f83.0_GRY4C_Ov5RYMn6Vi.gif)
<center>“隐空间”中的压缩 3x1 数据示例</center>
假设原始数据集是5x5x1。需要压缩数据到隐空间维度
3x1。那么压缩数据是具有三维的向量（为什么示例是三维，应为画图可以画出三维）

![1_djUvYgePXdjMbdbGsDq2eg.webp](/static/img/b0a00811f8b88f1d84bea4619971ac55.1_djUvYgePXdjMbdbGsDq2eg.webp)
<center>点（0.4、0.3、0.8）在3D空间中绘制</center>
但实际上可能是4维或者n维，虽然无法理解和画出但数学上成立。
每当我们绘制隐空间的点时，我们都可以将它们想象为空间中的坐标，其中“相似”的点在图上靠得更近。

## 隐空间的作用？
图像处理，生成模型。

## 自动编码器和生成模型

![0_dknVUIxkjQ3ZV8y0.webp](/static/img/344ce7b16c28782cefc37687b50857cb.0_dknVUIxkjQ3ZV8y0.webp)
<center>自动编码器的一般体系结构</center>

为什么做这个模型，如果只是为了输出自己那没意义。
但是，我们不关心模型输出什么而关心过程中模型 **学到什么**。

如果让模型变为恒等函数，我们强制将它数据所有相关特征用 **压缩表示层（compressed representation）** 表示，使得 
压缩表示层有足够信息，以便准确重建。 这种压缩表示层是隐空间表示层，如上图红色区域。


![0_6Nrb168aK7xoaV8b.webp](/static/img/1b08362e69fe5f04a8f6bca5f5976f5f.0_6Nrb168aK7xoaV8b.webp)
<center>通过潜在空间插值生成图像。来源：随机噪声矢量潜在空间的双线性插值</center>
通过对潜在空间进行插值来生成不同的面部结构.
使用我们的模型解码器将隐空间表示重建为与原始输入具有相同维度的二维图像。

![0_cYaaF2pFLECohCaI.gif](/static/img/70b33a73b1147ff21060d8ffc9704a60.0_cYaaF2pFLECohCaI.gif)
隐空间中两种类型的椅子之间的线性插值示例。

关于隐（潜）空间

> 生成模型不包含了扩散模型。
生成模型除了扩散模型外，还有VAE（variational autoencoder 变分自编码器) GAN（ Generative Adversarial Networks 生成式对抗网络）

### 最早的扩散模型DDPM（denoising diffusion probabilistic models）
扩散过程分为前向扩散和反向扩散

![image.png](/static/img/30964e196b87233d45122dbc18b5b0b7.image.webp)

<center>DDPM的扩散过程</center>

前向过程给数据加噪声
反向过程给数据去噪声->从噪声中回复清晰数据

问题:扩散模型生成速度慢。

#### 解决方案:使用采样器（离散化求解随机微分方程），采样器如Euler,SDE,DPM Solver++ ,Karras


#### 初期扩散模型质量和稳定性不如GAN生成对抗网络
《Diffusion ModelsBeat GANs on Image Synthesis》介绍了扩散过程如何使用显示分类器引导，使得扩散模型爆火。

### CLIP 多模态图像生成
CLIP 连接文本和图像的扩散模型，将同一语义的文字和图片转换到一个[隐空间](https://wiki.momen.world/post/227)中.如 Stable Diffusion DALL·E 图像扩散模型层。



> 图源：《扩散模型从原理到实战》ISBN：978-7-115-61887-0



扩散模型

> 咒语：提示词prompt
魔法师：写提示词prompt的人
炼丹：训练AI模型
炼丹炉：训练AI的地方
炼丹术士：训练AI的人
炸炉：指炼丹炼炸了，包括但不限于：CUDA OUT OF MEMORY、loss=nan、过拟合等


>文献出处：https://docs.qq.com/doc/p/230e7ada2a60d8e347d639edd5521f5e62332fe9
