
![v2-0eb942478b9beb5cafae957bff92b19e_720w.webp](https://wiki.momen.world/static/img/3e78c9cbaf4c297520e2dca3194c6e79.v2-0eb942478b9beb5cafae957bff92b19e_720w.webp)
 
 ## 模型量化
 （如INT4、INT8、FP16、BF16等）
 INT4（4位整数）：
表示范围：-8到7或0到15，具体取决于是否使用有符号或无符号表示。
压缩率：提供了最高的压缩率，但精度较低。
适用场景：对于资源受限且对精度要求不高的应用。
INT8（8位整数）：
表示范围：-128到127或0到255，具体取决于是否使用有符号或无符号表示。
压缩率：较高的压缩率，相对较低的精度。
适用场景：适用于大多数应用，可以在减小模型大小的同时保持较好的性能。
FP16（半精度浮点数）：
表示范围：较广，但精度相对较低。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，如深度学习模型。
BF16（Brain Floating Point 16）：
表示范围：类似于FP16，但在某些情况下具有更好的数值范围。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，尤其是在硬件支持BF16的情况下。

## TensorFlow是什么
TensorFlow 是一个端到端开源机器学习平台

## 分类任务回归任务的区别
#### 分类任务：
    定义：分类任务旨在将实例数据划分到合适的类别中。
    示例：判断网站是否被黑客入侵（二分类）、手写数字的自动识别（多分类）、多目标分类等。
    输出：输出是物体所属的类别。
    值类型：输出是离散的。
    评估指标：通常使用准确率、精确度、召回率等指标。
#### 回归任务：
    定义：回归任务主要用于预测数值型数据。
    示例：股票价格波动的预测、房屋价格的预测等。
    输出：输出是物体的值。
    值类型：输出是连续的。
    评估指标：通常使用均方根误差（RMSE）等指标。
#### 联系：
    无论是分类还是回归，其本质都是对输入做出预测，并且都是监督学习。
    说白了，就是根据特征，分析输入的内容，判断它的类别或者预测其值。
#### 区别：
    输出不同：
        分类问题输出的是物体所属的类别，回归问题输出的是物体的值。
    值类型不同：
        分类问题输出的值是离散的，回归问题输出的值是连续的。
    目的不同：
        分类的目的是寻找决策边界，回归的目的是找到最优拟合。
    结果和评估指标不同：
    分类的结果没有逼近，对就是对，错就是错；回归是对真实值的一种逼近预测。

## 当模型在真正部署，需要模型压缩的时候，量化、剪枝、知识蒸馏等压缩方法一般会使用哪些呢？

#### A：量化是一个大部分硬件平台都会支持的，因此比较常用；知识蒸馏有利于获得小模型，还可以进一步提升量化模型的精度，所以这个技巧也会使用，尤其是在有已经训好比较强的大模型的基础上会非常有用。剪枝用的会相对较少，因为可以被网络结构搜索覆盖。https://zhuanlan.zhihu.com/p/132561405

模型问题

论文外挂插件引用论文

langchain+6b 外挂知识库
https://blog.csdn.net/hugo_lei/article/details/135327051
https://zhuanlan.zhihu.com/p/643531454
cpu langchain https://zhuanlan.zhihu.com/p/645386589
https://github.com/chatchat-space/Langchain-Chatchat
已更名
langchainchatchat
https://blog.csdn.net/weixin_44729138/article/details/136042471
pwd问题https://blog.csdn.net/morecccc/article/details/136574595#:~:text=ModuleNotFoundError%3A%20No%20module%20named%20%27pwd%27%20%E6%89%A7%E8%A1%8Cinit_database%E7%9A%84%E6%97%B6%E5%80%99%E6%8A%A5%E9%94%99%EF%BC%8C%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%E5%A6%82%E4%B8%8B%EF%BC%9A%201%E3%80%81%E5%88%9B%E5%BB%BApwd.py%20%E4%BB%A3%E7%A0%81%E5%A6%82%E4%B8%8B,%2A%20def%20get_username%20%28%29%3A%20return%20getpwuid%28getuid%28%29%29%5B%200%5D%202%E3%80%81%E6%8A%8Apwd.py%E6%94%BE%E5%85%A5%E5%88%B0python%E7%8E%AF%E5%A2%83%E7%9A%84Lib%E7%9B%AE%E5%BD%95%E4%B8%8B%EF%BC%8C%E6%88%91%E7%94%A8%E7%9A%84conda%E7%9A%84%E8%99%9A%E6%8B%9F%E7%8E%AF%E5%A2%83%EF%BC%8C%E7%9B%AE%E5%BD%95%E6%98%AF%E5%9C%A8
conda虚拟环境需要安装`conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch`
server_config 改chatglm-6b为cpu

https://github.com/chatchat-space/Langchain-Chatchat/wiki/%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2/bf96a2450eb72052236f577c2a2db73264d9a5da

加-i https://pypi.tuna.tsinghua.edu.cn/simple 临时使用国内源

git lfs clone https://www.modelscope.cn/Jerry0/m3e-base.git
git lfs clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

问题：libGL.so.1:cannot open shared 
`ip install opencv-python-headless`

---
外挂知识库2
wenda
https://blog.csdn.net/engchina/article/details/130592913
  https://blog.csdn.net/qq_45841569/article/details/131487887
 缺少docx 安装python-docx
 预训练不要在plugins目录里
 langchain 0.0.228
 
 ---
 
p-tuningv2 推荐
地址
https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning
进入`../ChatGLM3/finetune_demo`
下载示例`wget https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1`
j解压
`tar -xvf index.html?dl=1`



LLaMA --面板
https://zhuanlan.zhihu.com/p/655008197


---
`conda env list`

选择需要切换到的环境，用下面命令切换，如切换到chat

`conda activate chat`

python3 startup.py -a


chatglm-6b训练

git clone https://github.com/THUDM/ChatGLM3.git
(gitcode.net)
 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
安装git-lfs
然后 git lfs install
https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary
新目录model
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
配置 glm3
进入glm3/basic_demo
修改web_demo_streamlit.py

MODEL_PATH = os.environ.get('MODEL_PATH', '../../chatglm3-6b')
Windows要改为正斜杠
若要cpu计算则
	model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").float()
        
`streamlit run web_demo_streamlit.py`

---
理论基础：
https://modelscope.cn/models/ZhipuAI/ChatGLM-6B/summary
模型：
https://github.com/THUDM/ChatGLM3