用有限的资源微调 LLAMA 或文本分类

当前位置: 电视猫 > php教程>
电视猫时间: 2023-11-30 15:00:00

  用有限的资源微调 LLAMA 或文本分类

用有限的资源微调 llama 或文本分类

我最近需要对工作中的特定用例进行句子分类。记得 jeremy howard 的第 4 课:针对绝对初学者的 nlp 入门,我首先改编了他的笔记本来微调 deberta。

它有效,但并不令我满意,所以我很好奇如果我使用像 llama 3 这样的 llm 会发生什么。问题是什么? gpu 资源有限。我只能访问 tesla/nvidia t4 实例。

研究让我找到了 qlora。这个关于使用 qlora 微调 llama 3 llm 进行股票情绪文本分类的教程特别有用。为了更好地理解本教程,我将第 4 课改编成 qlora 教程笔记本。

qlora 使用两种主要技术:

  1. 量化:降低模型精度,使其更小。
  2. lora(低阶适应):添加小型可训练层,而不是微调整个模型。

这使我能够在 16gb vram t4 上训练 llama 3 8b,使用大约 12gb 的 vram。结果出奇的好,预测准确率超过90%。

Confusion Matrix:
[[83  4]
[ 4  9]]
Classification Report:
              precision    recall  f1-score   support
         0.0       0.95      0.95      0.95        87
         1.0       0.69      0.69      0.69        13
    accuracy                           0.92       100
   macro avg       0.82      0.82      0.82       100
weighted avg       0.92      0.92      0.92       100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92
登录后复制

这是详细介绍该过程的 ipython 笔记本。

这种方法表明可以在有限的硬件上使用大型语言模型。在限制条件下工作通常会带来创造性的问题解决和学习机会。在这种情况下,这些限制促使我去探索和实施更高效的微调技术。

以上就是用有限的资源微调 LLAMA 或文本分类的详细内容,更多请关注php中文网其它相关文章!

最新电视剧
热门电视剧
影视资讯
最新剧情排行榜
最新电视剧剧情