Yahoo Web Search

Search results

  1. May 10, 2023 · 总结:. 1) Dromedary核心方案就是LLM + 自动生成数据+自动规则过滤. 本质就是finetune了一个LLaMA 65B+ lora. 2) 从源头来看,肯定也是不支持中文的. 3) 代码模型都是开源的, 65B的训练成本还是蛮高的, 就算是65B+lora, 现在基本就是1B≈1G显存, 这不至少是65G+显存才能玩转 ...

  2. May 8, 2023 · Dromedary是什么:在最小的人类监督下从头开始的语言模型的原则驱动的自我调整。 它的实现步骤如下: 1、利用Self-Instruct生成合成指令,并通过基于主题的方法增强了多样性。