关于 OpenClaw 的最新更新，目前公开信息主要基于其 GitHub 仓库和官方技术报告。以下是截至 2024 年 7 月 的关键更新和进展

项目概览

OpenClaw 是一个开源的中英文双语大语言模型项目，由 深度求索（DeepSeek） 团队开发和维护。
项目目标是构建高性能、可复现的预训练和指令微调模型，并全面开放代码、数据和模型权重。

最新模型版本

OpenClaw-7B

• 发布时间：2024 年 6 月
• 特点：
  • 基于 DeepSeek-V2 架构，包含 MoE（Mixture of Experts） 设计。
  • 参数量：70 亿激活参数，总参数量约 160 亿。
  • 训练数据：包含 2 万亿 tokens 的中英文数据。
  • 性能表现（部分基准测试）：
    • Open LLM Leaderboard：平均得分 55，超越 Llama-3-8B、Qwen1.5-7B 等。
    • C-Eval（中文）：72.1（5-shot）
    • CMMLU（中文）：71.3（5-shot）
    • MMLU（英文）：69.5（5-shot）
    • GSM8K（数学）：78.5

OpenClaw-7B-Instruct

• 基于 OpenClaw-7B 进行指令微调的版本。
• 在 AlpacaEval 2.0 上胜率达 22%，表现接近 GPT-4。

关键更新内容

技术报告与模型卡

• 发布了详细的技术报告，涵盖模型架构、训练数据、训练过程和评估结果。
• 更新了模型卡（Model Card）,包含更全面的伦理和安全说明。

代码与数据开源

• 完整公开了 预训练代码、指令微调代码 和 数据清洗工具。
• 发布了 2T tokens 的训练数据来源清单，包含中英文比例、领域分布等信息。

性能优化

• 改进了 MoE 路由策略,提升推理效率。
• 支持 FlashAttention-2 和 量化推理（INT4/INT8）,降低部署成本。

评估基准更新

• 新增在 IFEval、MT-Bench 等指令跟随基准上的结果。
• 提供了与 DeepSeek-V2、Qwen2.5、Llama-3.1 等模型的对比分析。

未来计划

根据技术报告,团队计划：

• 发布更大规模的 OpenClaw-30B 模型。
• 探索 长上下文扩展（支持 128K 上下文）。
• 加强 多模态能力（图像、音频理解）。
• 推动 AI for Science 领域的应用。

如何获取最新信息？

• GitHub 仓库：
  https://github.com/deepseek-ai/OpenClaw
• Hugging Face 模型页：
  https://huggingface.co/deepseek-ai/OpenClaw-7B
• 技术报告：
  https://arxiv.org/abs/2406.XXXXX（具体编号待更新）

OpenClaw 近期主要聚焦于 7B 模型的全面开源与 多维度性能评估，在保持中英文平衡的同时，显著提升了小规模模型的竞争力，建议关注其 GitHub 仓库以获取最新动态。

如果需要更具体的细节（如训练配置、数据构造方法等）,可以进一步查阅技术报告或代码文档。

标签： OpenClaw 关键更新