DeepSeek开源周第六天:极致推理优化系统,进步GPU核算功率

作者:李西 来源:樱桃帮 浏览: 【 】 发布时间:2025-03-05 00:05:18 评论数:

在当地时间20日的直播中,开源马克龙还标明,自己将在行将敞开的访美行程中压服特朗普,让特朗普理解美国的战略利益与欧洲盟友是共同的。

作为一家具有极强产品基因的企业,周第腾讯坚持了运用体会优先的原则,在满足优异的大模型体会呈现之前,没有容易投下自己手中的筹码。明显,极致进在对文心一言的执念和缓解用户丢失压力的挑选中,李彦宏挑选了后者。

DeepSeek开源周第六天:极致推理优化系统,进步GPU核算功率

例如查找范畴,推理从传统查找进入AI查找年代后,竞赛既需求模型的处理才干、也需求优质的内容供应。不止是火速接入微信,优化腾讯的决断还在于,其是现在仅有一个在自家大模型产品中直接接入DeepSeek大模型的互联网大厂。当咱们都向优质大模型抛出橄榄枝后,系统理论上中长期各家的查找处理才干拉平,赛点便来到内容供应储藏以及生态丰厚度上。

DeepSeek开源周第六天:极致推理优化系统,进步GPU核算功率

AI生态下最优解曩昔两年中,核算大模型给传统运用带来的体会晋级,让越来越多人开端认同一种观念,一切运用都值得用大模型重做一遍。微信和百度查找的首先接入,功率无疑会将压力给到还未有主力APP接入的阿里系和字节系产品,但关于马化腾和李彦宏来说,拥抱DeepSeek也会带来新的检测。

DeepSeek开源周第六天:极致推理优化系统,进步GPU核算功率

马化腾曾表明,开源关于工业革命来讲,早一个月把电灯泡拿出来,在长的时刻跨度上来看是不那么重要的。

在微信最近的一次灰度测验中,周第上线了根据DeepSeek-R1的AI查找功用,要知道此前腾讯自家的大模型都没有如此待遇。这儿咱们首要需求对CLIP模型进行初始化,极致进运用OpenVINO和LlamaIndex集成后的库能够轻松完结这一点。

fromllama_index.core.indicesimportMultiModalVectorStoreIndexfromllama_index.vector_stores.qdrantimportQdrantVectorStorefromllama_index.coreimportStorageContext,Settingsfromllama_index.core.node_parserimportSentenceSplitterSettings.embed_model=clip_modelindex=MultiModalVectorStoreIndex.from_documents(documents,storage_context=storage_context,image_embed_model=Settings.embed_model,transformations=[SentenceSplitter(chunk_size=300,chunk_overlap=30)])retriever_engine=index.as_retriever(similarity_top_k=2,image_similarity_top_k=5)多模态向量检索传统的文本RAG经过检索文本类似度来呼唤向量数据库中要害的文本内容,推理而多模态RAG则需求额定对图片向量进行检索,推理用以回来与输入问题相关性最高的要害帧,供VLM进一步了解。fromllama_index.coreimportSimpleDirectoryReaderquery_str=tellmemoreaboutgaussianfunctionimg,txt=retrieve(retriever_engine=retriever_engine,query_str=query_str)image_documents=SimpleDirectoryReader(input_dir=output_folder,input_files=img).load_data()代码运转后,优化咱们能够看到检索得到的文本段和要害帧。

系统来历:OpenVINO中文社区作者:杨亦诚英特尔AI软件工程师介绍Retrieval-AugmentedGeneration(RAG)体系能够经过从知识库中过滤要害信息来优化LLM使命的内存占用及推理功能。它运用Whisper模型将视频中的语音内容转化为文本内容,核算运用CLIP模型生成多模态嵌入式向量,核算运用视觉言语模型(VLM)处理检索到的图画和文本音讯以及用户恳求。