ShoelessCai - 腾讯会议：RAG 技术应用与实践下午2-3点分享速记

腾讯会议：RAG 技术应用与实践下午2-3点分享速记

- 2024 -
12/13
18:31

零号员工

发表时间：2024.12.13 作者：Jingyi 来源：ShoelessCai 阅读：23

腾讯会议：RAG 技术应用与实践下午2-3点分享速记

2024年12月13日，北京丰大国际大酒店。

关于 RAG AI 助力程序员的技术开放分享。

第一位分享者浙江万榕。

浙江万榕开发的榕博士大模型。他们的 LLMs 模型针对工程师的（整场会议的应用都是提升工程师效率），主要作数据的格式化整理。为此，在整个系统里，建立方案库、元器件库这类，可以拆分的单元仓库。

举个例子。非常形象地，如果你投喂 LLMs（即大模型）一张图纸，那么 TA 可以反馈你，应用、报价、甚至是部分代码。做到这样的程度。

可以试试。

第二位分享者招商证券技术部。

具体分享的内容，是做券商的大模型支持。

按照分享者的表述，也因为 stream 其实信号没那么好，所以大致画了示意图。

招商证券在介绍应用 LLMs 遇到的挑战。

他们的模型应用，概括为四个方面：运营、体验、效果、扩展。

首先是运营。

为什么主要部分放在运营呢？对于招商证券来说，他们认为这个 LLMs 搭建，可谓是改变编程习惯的工具，具有每天反馈不一致等特点，每天变，每天有新信息需要更新，属于飞速发展阶段。也是因为发展迅速，需要非常谨慎地调整模型。什么含义呢？有些时候，运营上的错误，一些很小很小的错误，也可能导致很多功能（能力）直接丧失其作用。

接着是扩展。

扩展也是非常重要的部分。应用场景诸如，Quants 每天的股票模型，或者一些商业分析 BI 模型。原本的一些思路，是建立过程指标，主要因其比较容易建立和监控，对于 LLMs 而言，可能就会加入结果指标，例如，生成率。结果指标比起过程更具有说服力，也更加稳定。其实，招商的 AI 模型主要是帮助程序员编程，那么程序员编程、工作过程有多大提升，也是个非常有用的指标。如果效果不好怎么办？

因此，招商自己做的创新是，开发了“个人工作台”，增加更多度量指标，更多仪表盘的指标。这些都是属于日常运营的部分。

还包括项目及代码洞察分析。ShoelessCai 评注，依据分享者整篇分享的意思，LLMs 是完成代码交付阶段的工作，和程序员是有相互替代的作用的。

再者是效果。

效果怎么衡量？一是代码补全，这是他们 LLMs 比较特点的（相较于其他分享者）。据说，LLMs 知道得越多，补得越准。他们采取的算法，或解决方案，是以“有效信息密度最高”为目标，去组织上下文，考察文本或者代码的局部的“有效信息密度”。

做法就是，以光标位置为原点，组织所有相关上下文。分三个层次，一是按照目录、路径、依赖这类，在计算机内以 file 形式存在的相关要素，这些相关的都找出来。二是找出要素后，按照相似度排名，并筛选。三是投喂 LLMs。

另外，关于细化的补全结果，还有一些截断问题。个人理解，就是补全范围。

官方的效果数据。

最后是体验。

例如，白屏问题、卡顿问题，这些会随着版本迭代不断涌现是技术上的问题。一开始，程序员依据使用情况去修补，但是时间久了之后，发现对于整个模型的应用，效能整体提升比较少。

招商证券在体验方面采取的措施是，使用腾讯的原生的 UI，据说可以提升体验。就是一种方法。

另外交互方面，还有快捷键。由于是针对程序员的产品，在出版之后，各种调试下，增加了很多快捷键，也是为了提升体验的操作。

功能方面再作补充：

1.这个 LLMs 模型是完成代码交付阶段的公司做；

2.应用方面，例如，期权定价，或者依据合同形式，创造场景和功能；

3.修正程度，依据代码篇幅判断代码情况，并且对注释、代码整体情况进行评价和调整，还能追溯到文件及相关依赖。

第三位分享者，逻辑结构如下。

1.知识总结的应用，第一位分享者也提到知识总结的应用。这部分应用占据其用 LLMs 70%。例如，遇到问题 A，应该找谁处理？或者原因是什么？ —— 之类的，具有高度抽象的问题。

2.团队工作效率问题，例如，定位问题效率低。举个例子，同样的技术问题，会有很多原因，但是他们团队在定位原因的过程上，花的时间比较久。会占据 70% 左右的售后时间。

3.偶发问题，虽然比较严重，出现概率很小。举个例子，几百次的、某个部分的访问错误，像这类问题，不作现场勘测，很难解决。对于线上售后其实是很大的挑战。

团队怎么解决的呢？

1.建立知识库，文档库。从腾讯的用户分享来看，这个是用户 DIY 的，而且具有“飞轮效应”，因此 LLMs 选完之后，是不太会改变的。

2.在自己使用的 LLMs 上，不断更新分析体系。

3.开发工单智能反馈，实现逐层过滤，再分发给负责人员。这个属于运维问题。

落地时候问题清单：

1.格式不统一、文档缺失、数据不全，内容更新不及时等问题，都会使得调取服务的时候，出现问题。解决方案，转 MD 格式，层次分明，还附有特殊字符过滤。

2.有时候效率提升，可能是幻觉，这是 LLMs 特有的幻觉问题。

3.检索失败。解决方案，分类索引，提升检索速度。

4.提升 LLMs 知识点、补全机制等等，各类 DIY Warehouse，降低处理速度。