以下是一个使用Python编写的基本示例,用于实现AI单文档搜索:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
# 模拟一个包含多个文档的文本集合
documents = [
"This is the first document.",
"This document is the second document.",
"And this is the third one.",
"Is this the first document?",
]
# 使用TF-IDF向量化文本
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents)
# 计算查询文档与所有文档的余弦相似度
query = "This is the second document."
query_vector = vectorizer.transform([query])
similarity_scores = cosine_similarity(query_vector, tfidf_matrix)
# 获取相似度最高的文档
most_similar_doc_index = similarity_scores.argmax()
most_similar_doc = documents[most_similar_doc_index]
print("Most similar document:", most_similar_doc)
这个示例使用了scikit-learn库中的TfidfVectorizer
来将文本集合向量化为TF-IDF特征向量。然后,使用cosine_similarity
计算查询文档与所有文档之间的余弦相似度。最后,选择具有最高相似度得分的文档作为最相似的文档。在示例中,查询文档是"This is the second document.",最相似的文档是"This document is the second document."。
请注意,这只是一个基本示例,实际的AI单文档搜索可能需要更复杂的处理和算法,以便更准确地匹配查询和文档。
上一篇:AI大模型作用
下一篇:AI大语言模型小型化