自从OpenAI发布了ChatGPT后，印象中离我们生活很远的AI一下子就来到了我们面前。各种类似的AI技术也如雨后春笋般迸发。之前小编一直在向大家讲解用于AI画图的Stable Diffusion，那么文字方面的AI该如何在本地进行部署呢？今天小编就为大家介绍一下清华大学的ChatGLM2大语言模型的本地化操作。

与Stable Diffusion一样，使用ChatGLM2模型需要提前搭建好运行环境与UI界面。不过相比SD来说，大语言模型需要的依赖非常多，体积也很巨大。好在我们可以在github上下载oobabooga一键安装包来实现。下载地址：https://github.com/oobabooga/one-click-installers

下载完毕后将压缩包解压至本地，找到里面的start_windows.bat批处理文件，双击运行。

程序会自动从网络上下载所需文件。

进行到牵绊部分时会提示使用哪种设备运行AI，这时候我们在提示符中键入A选择使用NVIDIA显卡计算。之后经过漫长等待后所有文件下载安装完毕就好了，一定要有耐心。如遇到错误可优化网络进行重试。

一切就绪后，控制台会输出webUI的IP地址，默认为本地127.0.0.1:7860。因为小编的Stable Diffusion也在运行因此oobabooga的端口顺序到了7861。

将地址输入浏览器地址栏并回车后，就能进入oobabooga的webUI界面。接下来就是下载清华大学ChatGLM2的步骤了。

进入https://huggingface.co/开源模型下载网站搜索chatglm2就能找到对应模型。

进入ChatGLM2模型的页面后点击上方Files and versions选项卡，再将下方的所有文件进行下载。

将下载好的模型文件放入oobabooga目录下的models文件夹中（F:\one-click-installers-main\text-generation-webui\models

），这时建议在该文件夹中新建一个文件夹并改名为chatglm2，再将文件放入chatglm2文件夹中。

接下来就是模型的加载了。oobabooga webUI页面中点击model选项卡，将模型选择为chatglm2-6b后再将load in 8bit和trust remote code两个选项打钩，最后点击上方的load按钮。

呕吼！报错了是不是？错误代码是不是这个？AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'

如果报错就需要对transformers进行更新，在oobabooga文件目录中的地址栏输入CMD并回车，就能在该目录开启CMD控制台。

接下来将pip install transformers==4.33.2输入进去并回车，待4.33.2版本transformers安装完毕后关掉控制台再重新加载模型即可。

一般更新完transformers后加载ChatGLM2模型就不会有任何问题了。如果是其它模型，可能需要的transformers版本不一样，还需要到模型网站或是github寻找所需要的版本号进行手动更新。

接下来就是ChatGLM2的使用实战了，回到oobabooga webUI的chat选项卡就能通过文字来使用聊天功能了。

比如问ChatGLM2一些数学题，用AI辅导孩子功课实在太简单了。

比如让ChatGLM2为出游做一个详细的规划，北京三日游安排的还挺合理。

更厉害的是，ChatGLM2还能够轻松完成代码的便携工作，这对于程序员来说可就太方便了，一些简单但是耗时的代码完全可以交给AI去完成了。

大语言模型通过oobabooga部署在本地不仅会占用大量的硬盘空间，运行时还会占用很高的GPU资源与显存空间。因此小编建议大家使用机械革命旷世16 Super游戏本。凭借着GeForce RTX4080笔记本电脑GPU能够提供相当高的迭代速度，12GB的大容量显存对于大语言模型来说简直就是绝配。旷世16 Super游戏本标配了32GB的高频DDR5 5600内存，配合酷睿i9 13900HX处理器以及1TB的固态硬盘能够成就更多可能。

另外值得一提的是旷世16 Super还可以搭配第2代冰河分体式水冷散热器使用，在高强度的AI运算中能够让GeForce RTX4080笔记本电脑GPU以更低温度、更高频率运行，从而实现更快的迭代速度，AI运算效率大大提升。关于AI，小编也是正在学习中，后续还会为大家带来更多精彩内容，最后的最后，还是那句老话：祝大家玩得愉快！