日常生活和经济全球化之间存在密切的关系。经济全球化是一个涉及全球范围内经济活动、贸易、投资、金融等方面的概念,它使得各国经济相互依存、相互联系,形成一个全球范围的有机经济整体。这种全球化的趋势对人们的日常生活产生了深远的影响。</p>
以购物为例,经济全球化使得人们可以轻松地购买到来自世界各地的商品。无论是在大型超市、电商平台还是实体店,我们都可以看到来自不同国家的商品琳琅满目。这些商品可能包括食品、衣物、电子产品等,它们不仅丰富了我们的选择,也提高了我们的生活质量。</p>
负责对每个省份的销量数据进行统计和分析,关注主要销售热点地区和潜在的市场机会</p>
-提取出关键的销售变化和趋势,使用Python数据可视化,直观展示产品销售的月度和</p>
地域分布,为市场部提供了有价值的数据洞察,支持关键的市场策略决策。</p>
随后进行数据采集,爬取加人工采集。对两种方式采集的文献数据进行整理,将元数据记录好,并统一格式,用于后续的检索。最后是文献的精细筛选。因为RAG技术就是要增加大语言模型在专业领域的可信程度,解决大语言模型的幻觉问题。那在数据的选取上就要偏向于更为全面的文献数据。生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响,它考虑了资源使用、能源消耗、排放物的产生等方面。那么为了提高最后基于电力LCA这个领域搭建的专业模型的准确度,对文献进行精细筛选,选取同时包括流程图,数据,各单元过程投入产出详细数据,数据时间地点落去方法,技术细节的文献,作为最终的数据。将精细筛选后的论文数据,结合unstructed库进行数据处理。进行信息精细化拆解与清洗,使以pdf形式存储的文献数据通过分割,分区,变成便于嵌入模型的结构化数据。对文字进行筛选与清理,图像的内容进行识别,存储图像的解释信息,表格转化为HTML格式。最后统一变成标题加内容的格式。第二部分是知识库的构建。向量知识库,能将各类数据(如文本、图像、音频等)转化为向量形式进行存储。数据之间的相似性和关联性得以量化,不像平时你存储你的,我存储我的,向量数据库给予了一个统一的标准。也正是因为统一了格式,利用相似度对比,检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离散的符号信息,如词或句子,映射到连续的向量空间中,以便计算机能够处理。向量化将高维数据转化为低维数据,保留了数据的关键特征又降低了数据的复杂度。选择pipecone存储向量数据,它支持查询,插入,删除等一些列操作。选择weaviate作为向量搜索引擎,可以通过主题的分类检索,进行语义搜索、问答提取等等功能。第三部分是chatbot的构建。先前已经构建好了针对电力LCA领域的专业大模型,但是缺少检验模型的手段,即缺少模型优化环节,本项目设置通过Chatbot模式,通过与用户进行问答的形式,检验模型是否能调用电力行业LCA领域向量数据库回答该领域专业性问题和时效性问题的有效性。Chatbot是模拟人类对话的一种形式,就我们平时能使到的chatgpt就是以chatbot的形式来呈现的,而chatbot在这里的功能实现主要是为了体现检索功能,大致可分为知识库检索功能和在线搜索。那么就产生了三种检索模式。仅基于大语言模型,连接知识库搜索,和在线搜索。前端部分我采用streamlit来完成,UI设计如图所示。</p>