分类： AI

2025

• AI：在 32 张 L40S/L20 上运行 DeepSeek-R1/V3 原版 FP8 模型

  3月26日

• AI：刷新 32 张 L40S 运行 DeepSeek-R1-INT8 的性能数据

  3月22日

• AI：使 SGLang 支持在 32 张 L40S/L20 上运行 DeepSeek-R1

  3月17日

• AI：理解 FlashMLA 在 DeepSeek MLA 计算过程中的位置和作用

  3月08日

• AI：2 行代码校验大模型（如DeepSeek-R1）权重文件下载完整性

  2月24日

• AI：单机 KTransformers 运行 DeepSeek-R1-GGUF 4 bit 量化模型 Q4_K_M 实测

  2月18日

• AI：DeepSeek-V3 MTP 工程实现思考

  2月14日

• AI：DeepSeek 官方修正了 V3 的激活参数量说明

  2月08日

• AI：LLM PD 分离背后的架构问题

  2月07日

• AI：DeepSeek V3 模型各子模块参数量精算

  1月12日

• AI：DeepSeek V3：AI 大模型 infra 基建新高度

  1月03日

2024

• AI：应该把 Prefix Caching 当作一种效果优化技术

  10月19日

• AI：估值最高的 AI 搜索独角兽 Perplexity 使用倒排索引做 RAG

  8月13日

• AI：LLM 推理优化 Prefix Caching 及其实现

  4月25日

• AI：LLM 推理优化 Continuous Batching 及其实现

  4月05日

• AI：Logits of API-Protected LLMs Leak Proprietary Information

  3月19日

• AI：在 LLM 时代我们是否还需要倒排索引？

  3月06日

2023

• AI：配置 dcgmi 遇到的问题

  12月12日

• AI：GPT-2 Tokenizer 效率观察

  3月27日

• AI：GPT-4 的 Bits Per Word 指标是什么意思

  3月24日