参考:
https://github.com/anthropics/anthropic-cookbook/blob/main/skills/contextual-embeddings/guide.ipynb
实现步骤:
1.使用大模型通过传入块和整个文档来为每个块生成上下文
2.在嵌入之前将生成的上下文前置到块中(用第一步生成的上下文当成块做后续embedding处理)
3.然后在检索步骤中,使用上下文嵌入的组合,上下文BM 25
第一步例子:
大模型处理后
原文:“该公司的收入比上一季度增长了3%。"
Claude处理后的上下文块:“此块来自ACME Corp的2023年第二季度SEC文件。上一季度收入: