本站内容由 AI 生成，可能存在错误。如发现问题，欢迎到 GitHub Issues 反馈。

#decoding

2 篇文章

中级

Sampling & Decoding — 从概率到文本

#inference #sampling #decoding #perplexity
高级

Batch、Ubatch 与解码主循环

#llama-cpp #batch #ubatch #decoding #parallel-sequences #kv-cache