实习随记

上海酷量科技——NLP算法实习生

2024.04.04—2024.07.19

实习已经结束，总结一下：

工作内容：偏向于开发，迭代了公司Ai-search的1.1和1.2版本。算法部分在于对于RAG检索内容的预处理，之后就是Prompt工程的设计和大模型API的调用。公司未来涉及到小模型的部署和预训练，当前还在收集数据集阶段。

技术积累：开发方面，因为涉及到与前后端交互和产品上线，对于Socket、FastAPI框架和Linux操作系统都有系统的实践。大模型方面，对于开源模型接触较多，因为公司业务目前还在调用API服务进行生成这个阶段，我们算法最主要的是产品逻辑代码的编写，双知识库返回数据的预处理，以及Prompt工程。数据的预处理和Prompt工程不仅可以提高模型生成质量，而且可以尽可能减少模型幻觉，这一块现在比较熟练。

未来畅想：现在大模型火爆，仅仅停留在应用层面不是我们开发人员最追求的技术，未来还需要就多模态，模型压缩，加速，部署等技术进行自主的学习。目前个人计划是和组员租一台服务器，我们两个人在服务器上部署一个7B左右的小模型，熟悉以下部署流程和代码，以丰富自己的技术积累。