Llama系列

Meta发布的Llama系列大模型有几个重要的版本

Llama 3.1

参数规模：提供了8B、70B和405B三种不同大小的模型。
性能：据称，405B版本在常识、可操作性、数学技能以及多语言翻译等方面能够与GPT-4、GPT-4o、Claude 3.5 Sonnet等顶尖闭源模型相媲美。
上下文窗口：支持长达128K Tokens的上下文窗口。
训练数据量：基于大约15万亿个Tokens进行训练。
开源许可：允许开发者免费修改和使用这些模型，无需与Meta共享个人数据。

Llama 3.3

参数规模：拥有700亿参数，虽然比Llama 3.1的4050亿参数少很多，但性能几乎不逊色。
资源需求降低：推理过程中的GPU内存需求最低仅为4GB，而Llama 3.1则需要高达1944GB。
经济效益：显著降低了硬件成本，为企业节省了大量资金。
灵活部署与合规许可：使用Llama 3.3 Community License Agreement授权，要求注明来源，并对内容生成和用途进行严格限制。
技术创新：支持多语言推理与生成，采用了分组查询注意力技术（GQA）以提升推理性能，并通过人类反馈强化学习与微调来平衡性能与安全性。

本地部署llama3.2

ollama show llama3.2:latest

输出

shell

	Model
    architecture        llama
    parameters          3.2B
    context length      131072
    embedding length    3072
    quantization        Q4_K_M

  Parameters
    stop    "<|start_header_id|>"
    stop    "<|end_header_id|>"
    stop    "<|eot_id|>"

  License
    LLAMA 3.2 COMMUNITY LICENSE AGREEMENT
    Llama 3.2 Version Release Date: September 25, 2024