一、大模型的主要缺点
①幻觉问题：大模型的底层原理是基于概率，所以它有时候会一本正经胡说八道，比如我们问基于大模型的问答系统，“故宫博物院下周一开门吗？”这样的问题你不能连续问，因为大模型会有一定的几率告诉你开门（而实际情况是周一闭馆，除非碰上法定节日）。如果这个问答系统还是博物院官方提供的，那事情最终会演变成一通12345的投诉电话。所以在很多需要非常精准服务的场景，仅仅依赖GPT这种”盲目自信“的生成式回答是很不严谨的，而且看起来很难消除——目前我们常见的解决方案是前置一个BERT和语料维护，或者使用RAG（检索增强生成，目前正在成为主流）或者预置大量prompt做优化（有公司这么在做）。
②新鲜度问题：规模越大（参数越多、tokens越多），大模型训练的成本越高。类似OpenAI的ChatGPT3.5，目前的数据新鲜度依然保留在2021年，对于之后的事情就不知道了。而且对于一些高时效性的事情，大模型更加无能为力，比如帮我看看今天晚上有什么电影值得去看？这种任务是需要去淘票票、猫眼等网站先去获取最新电影信息的，大模型本身无法完成这个任务。现在主流的解决方案是增加RAG方案；
③数据安全：就企业应用来说，如果把自己的经营数据、合同文件等机密文件和数据上传到云上的大模型，那想想都可怕。目前最好的方式就是把数据全部放在本地，企业数据的业务计算也全部在本地完成，然后在本地部署参数相对较小的大模型；
④费用问题：GPT-4的价格已经让很多人认识到AI是有成本的。这甚至造成了Langchain、AutoGPT等半自动和全自动的Agent框架立马遭遇冷落，因为费用扣的太快了
二、国内大模型的问题
除了能力上的差距，国内AI大模型及相关产业的从业者还面临着更多的问题：
1. OpenAI等大模型的使用限制
2. 政策法规的严格把关
三、国内大模型在产品中的应用思路
1. 国产模型优先或分不同使用场景，采用自己本地部署的Baichuan2-13B/ChatGLM2-6B等国产大模型和Llama7B等开源模型。
2. RAG优先：相对于微调，RAG在知识新鲜度、幻觉和数据安全方面都更容易掌控，特别是幻觉问题，对于后续应用上线时候的审查是非常有效的。而且最关键的是RAG这种胶水组件的解决方案可以很大程度上减轻我们对大模型能力的依赖；
3. 预生成优先：国内大模型应用到后面最大的成本会是符合法规方面的对齐工作，优先考虑的做法是预生成