掘力計劃第 20 期：Flutter 混合開發的混亂之治
在掘力計劃系列活動第20場，《Flutter 開發實戰詳解》作者，掘金優秀作者，Github GSY 系列目負責人戀貓的小郭分享了Flutter 混合開發的混亂之治。Flutter 基于自研的 Skia 引擎
文本查重，也稱為文本去重（Plagiarism Detection），是一項旨在識別文本文檔之間的相似性或重復性的技術或任務。它的主要目標是確定一個文本文檔是否包含與其他文檔相似或重復的內容，通常是為了檢測抄襲、重復、剽竊等不當行為。
文本查重在今天的信息時代具有重要性，并在多個應用領域中發揮關鍵作用。以下是文本查重的重要性以及一些主要應用領域：
總的來說，文本查重在多個領域中都具有廣泛的應用，以確保內容的原創性、知識產權的保護、信息質量的提高和法律合規性的維護。它有助于維護信任、保護知識產權和提供更高質量的信息。
文本相似性的確定是文本查重任務的核心，它涉及了多種原理和方法。下面是關于如何確定文本相似性的基本原理：
余弦相似度是一種常用的方法，它測量兩個文本向量之間的夾角。
import numpy as npfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.metrics.pairwise import cosine_similaritydocuments = ["This is the first document.", "This document is the second document.", "And this is the third one."]vectorizer = CountVectorizer()X = vectorizer.fit_transform(documents)cosine_sim = cosine_similarity(X, X)print(cosine_sim)Jaccard相似性用于比較兩個集合的相似性。
def jaccard_similarity(set1, set2): intersection = len(set1.intersection(set2)) union = len(set1.union(set2)) return intersection / uniontext1 = set("This is the first document.".split())text2 = set("This document is the second document.".split())similarity = jaccard_similarity(text1, text2)print(similarity)編輯距離用于比較兩個字符串之間的相似性。
import nltkfrom nltk.metrics import edit_distancestr1 = "kitten"str2 = "sitting"distance = edit_distance(str1, str2)print(distance)基于詞袋的方法將文本視為詞匯的集合，并使用詞頻或TF-IDF等方法來比較文本相似性。
from sklearn.feature_extraction.text import TfidfVectorizercorpus = ["This is the first document.", "This document is the second document.", "And this is the third one."]vectorizer = TfidfVectorizer()X = vectorizer.fit_transform(corpus)哈希函數是一種數學函數，它將輸入數據（或"消息"）映射到固定長度的二進制序列，通常稱為哈希值或摘要。哈希函數的關鍵特性是，對于給定的輸入，它始終生成相同長度的哈希值，而且即使輸入的微小變化也會導致生成的哈希值發生顯著變化。
哈希函數的主要用途包括數據完整性驗證、密碼學安全、數據存儲和檢索優化等。
MinHash算法是一種基于哈希的文本查重方法，它通過隨機排列文檔中的詞項并使用哈希函數來比較文檔的相似性。
from datasketch import MinHash, MinHashLSH# 創建MinHash對象m1 = MinHash()m2 = MinHash()# 添加元素到MinHashfor d in data1: m1.update(d.encode('utf8'))for d in data2: m2.update(d.encode('utf8'))# 創建MinHash LSH索引lsh = MinHashLSH(threshold=0.5, num_perm=128)lsh.insert("m2", m2)# 查詢相似的MinHashresult = lsh.query(m1)print("Approximate Jaccard:", len(result) / float(len(m1)))使用MinHash和MinHash LSH（局部敏感哈希）來檢測文本相似性是一種快速和有效的方法。MinHash是一種數據結構，用于估計兩個集合的Jaccard相似度，而MinHash LSH是一種索引結構，用于快速查找具有相似MinHash值的文本文檔。
下面是一個使用MinHash檢測文本相似性的示例：
from datasketch import MinHash, MinHashLSH# 創建MinHash對象和MinHash LSH索引m1 = MinHash()m2 = MinHash()lsh = MinHashLSH(threshold=0.5, num_perm=128) # threshold是相似性閾值# 文本數據data1 = ["apple", "banana", "cherry", "date"]data2 = ["banana", "date", "fig", "grape"]# 添加元素到MinHashfor d in data1: m1.update(d.encode('utf8'))for d in data2: m2.update(d.encode('utf8'))# 插入MinHash到LSH索引lsh.insert("m2", m2)# 查詢相似的MinHashresult = lsh.query(m1)# 計算相似性similarity = len(result) / float(len(m1))print("Approximate Jaccard Similarity:", similarity)上述代碼示例演示了如何使用MinHash和MinHash LSH來檢測兩個文本文檔的相似性。在此示例中，首先創建了兩個MinHash對象（m1和m2），然后將文本數據添加到這些對象中。接下來，使用MinHash LSH索引來插入一個MinHash（m2），并使用查詢來查找與m1相似的MinHash。最后，計算相似性得分，根據相似性閾值來判斷文本文檔是否相似。
TF-IDF是一種用于表示文本的方法，它考慮了詞在文檔中的頻率以及在整個語料庫中的重要性。
from sklearn.feature_extraction.text import TfidfVectorizercorpus = ["This is the first document.", "This document is the second document.", "And this is the third one."]vectorizer = TfidfVectorizer()X = vectorizer.fit_transform(corpus)Word2Vec是一種用于將詞匯映射到連續向量空間的方法，可以用于比較文本相似性。
from gensim.models import Word2Vecsentences = [["this", "is", "the", "first", "sentence"], ["this", "is", "the", "second", "sentence"], ["is", "this", "the", "third", "sentence"]]model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=0)使用TF-IDF（詞頻-逆文檔頻率）來比較文本文檔之間的相似性是一種常見的方法。TF-IDF是一種用于衡量詞語在文檔集合中的重要性的技術，它可以將文本轉化為向量表示，并計算向量之間的相似性。
下面是一個使用TF-IDF比較文本相似性的示例：
from sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics.pairwise import cosine_similarity# 示例文本數據documents = [ "Python is a popular programming language", "Java is another widely used language", "Programming languages are essential for software development", "Python and Java are both used in web development"]# 創建TF-IDF向量化器tfidf_vectorizer = TfidfVectorizer()# 將文本數據轉化為TF-IDF向量tfidf_matrix = tfidf_vectorizer.fit_transform(documents)# 計算文檔之間的余弦相似性similarity_matrix = cosine_similarity(tfidf_matrix)# 打印相似性矩陣print("Similarity Matrix:")print(similarity_matrix)# 查找最相似的文檔most_similar = similarity_matrix.argsort()[:, -2]# 打印最相似的文檔for i, doc_index in enumerate(most_similar): print(f"Document {i} is most similar to Document {doc_index} (Similarity Score: {similarity_matrix[i][doc_index]:.2f})")在上述示例中，首先定義了一組文本文檔，然后使用TfidfVectorizer將文本數據轉化為TF-IDF向量。接下來，使用cosine_similarity函數計算文檔之間的余弦相似性。最后，查找每個文檔的最相似文檔，并打印它們之間的相似性分數。
深度學習模型如卷積神經網絡（CNN）和循環神經網絡（RNN）在文本查重中表現出色。
CNN可以用于提取文本特征并進行文本相似性比較。
from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Densemodel = Sequential()model.add(Embedding(input_dim=vocab_size, output_dim=embed_size, input_length=max_sequence_length))model.add(Conv1D(filters=128, kernel_size=5, activation='relu'))model.add(GlobalMaxPooling1D())model.add(Dense(1, activation='sigmoid'))model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])RNN可以捕捉文本之間的上下文信息。
from tensorflow.keras.layers import LSTMmodel = Sequential()model.add(Embedding(input_dim=vocab_size, output_dim=embed_size, input_length=max_sequence_length))model.add(LSTM(128))model.add(Dense(1, activation='sigmoid'))model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])使用深度學習模型來檢測文本相似性通常需要大規模的訓練數據和計算資源。
以下是一個示例，演示了如何使用預訓練的BERT模型來檢測文本相似性。在這個示例中，將使用Hugging Face Transformers庫，該庫提供了輕松訪問多種預訓練的NLP模型。
請確保已安裝transformers庫，使用以下命令安裝：
pip install transformers然后，使用以下示例代碼：
from transformers import AutoTokenizer, AutoModelimport torchfrom scipy.spatial.distance import cosine# 加載預訓練的BERT模型和分詞器model_name = "bert-base-uncased"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModel.from_pretrained(model_name)# 示例文本數據text1 = "Python is a popular programming language"text2 = "Java is another widely used language"# 對文本進行分詞和編碼inputs1 = tokenizer(text1, return_tensors="pt", padding=True, truncation=True)inputs2 = tokenizer(text2, return_tensors="pt", padding=True, truncation=True)# 使用BERT模型獲取文本嵌入outputs1 = model(**inputs1)outputs2 = model(**inputs2)# 獲取文本的嵌入向量embedding1 = outputs1.last_hidden_state.mean(dim=1).detach().numpy()[0]embedding2 = outputs2.last_hidden_state.mean(dim=1).detach().numpy()[0]# 計算余弦相似度similarity = 1 - cosine(embedding1, embedding2)# 打印相似性分數print("BERT Similarity:", similarity)在上述示例中，使用BERT模型對兩個文本文檔進行編碼，然后計算它們的余弦相似度。這是一個基本示例，實際應用中，可以根據任務和數據集的需求選擇不同的預訓練模型，并可能需要進行更多的微調。深度學習模型通常在大型文本數據上表現出色，但需要適當的資源和時間用于訓練和調優。
本文鏈接：http://m.www897cc.com/showinfo-26-90350-0.html如何用Python輕松檢測文本相似性：原理與方法
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： Java實務-如何既返回實體同時下載文件
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號