在甲骨文首尔arm64上部署mistral-7b并用于生成网页description

jekyll

好几年没更新硬件了，手头只有一张2060。
在我用过的所有能在6G显存上使用纯GPU运算的小模型里，mistral-7b算是一枝独秀。
不涉及复杂推理，单纯进行自然语言理解和总结，mistral-7b已经可以很好的胜任，反倒很多14b、32b的模型没能让我明显感知到质量提升。
最近为了省电，把2060的机器也关了，换成甲骨文arm64，照样能跑，就是速度只有原来的1/7。

cpu24小时拉满，希望不要被封号。

效果预览，下面这个网页：

https://zui6.de/d/341d0a3c6a045c77606a5672475f646a1b261c1f

AI总结的description如下：
在社区讨论中，多位用户需要一个可以对文本执行全部查找和替换操作的 iOS 应用。建议尝试 Code App（https://apps.apple.com/us/app/code-app/id1512938504）或 Bear App，前者是收费软件，后者免费版应该够用。另外，还有 Runestone 和 Dreamedit 等其他选项。

还得继续微调，前面的“在社区讨论中”有点多余，这家伙目前特别喜欢在前面加上“在社区讨论中”。

吊打华伪

甲骨文多少内存？

这个不是超垃圾的欧洲之光 le chat么

jekyll

吊打华伪 发表于 2025-3-11 23:27
甲骨文多少内存？

这个不是超垃圾的欧洲之光 le chat么

24GB内存，只需要6GB就够了

吊打华伪

jekyll 发表于 2025-3-11 23:31
24GB内存，只需要6GB就够了

免费的居然这么大内存

甜菜超人

可以理解并输出中文吗

jekyll

甜菜超人 发表于 2025-3-12 13:29
可以理解并输出中文吗

“理解并输出”这是所有大模型最基本的功能，输出中文，需要添加提示词，比如“用中文回复”。
但是每个模型调校的不一样，mistral比较听话、稳定。
qwen就比较絮叨，容易循环和冒出英文。