İlişkisel veri tabanlarında mükerrer kayıtların makine öğrenmesiyle tespiti
Yükleniyor...
Dosyalar
Tarih
2018-07-05
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Institute of Electrical and Electronics Engineers Inc.
Erişim Hakkı
info:eu-repo/semantics/closedAccess
Özet
Veri miktarının artışına paralel olarak, ilişkisel veri tabanlarında mükerrer kayıtlar da artmaktadır. Artan bu kayıtlar kullanıldıkları rapor veya analizlerde tutarsızlığa sebep olabilmektedir. Bu sorunu en aza indirgemek için yaptığımız çalışmada, kayıtların birbirlerine olan benzerlikleri ve alan uzmanlık bilgisiyle belirlenen ağırlıklar, öznitelik olarak kullanılarak makine öğrenmesi algoritmaları ile mükerrer kayıtların bulunması hedeflenmiştir. Yapılan işlem sonucunda 9301467 satır veride 28412 mükerrer çift tespit edilmiştir. Bulunan bu mükerrer kayıtlar veri kaynağından temizlenerek verinin daha tutarlı hale gelmesi sağlanmaktadır.
While data amount increases, number of duplicate records in relational databases increase gradually. The duplicate records might cause inconsistency on reports and analyzes. To reduce the effects of this problem, we aim to detect duplicate records using machine learning algorithms with features that are produced by similarity of the records. We achieved to detect 28412 duplicate records in 9301467 records. The detected duplicate rows are removed from the data source and the data become more consistent.
While data amount increases, number of duplicate records in relational databases increase gradually. The duplicate records might cause inconsistency on reports and analyzes. To reduce the effects of this problem, we aim to detect duplicate records using machine learning algorithms with features that are produced by similarity of the records. We achieved to detect 28412 duplicate records in 9301467 records. The detected duplicate rows are removed from the data source and the data become more consistent.
Açıklama
Anahtar Kelimeler
Benzerlik fonksiyonları, Makine öğrenmesi, Mükerrer kayıt tespiti, Algorithms, Artificial intelligence, Data mining, Database systems, Data-source, Dogs, Duplicate record detection, Duplicate records, Duplicate record detection, Feature extraction, Kernel, Knowledge discovery, Learning (artificial intelligence), Learning algorithms, Learning systems, Machine learning, Machine learning algorithms, Near-duplicate detection, Near-duplicate detection, Privacy-preserving record, Relational databases, Relational database, Signal processing, Similarity functions
Kaynak
26th IEEE Signal Processing and Communications Applications Conference, SIU 2018
WoS Q Değeri
N/A
Scopus Q Değeri
N/A
Cilt
Sayı
Künye
Bayrak, A. T., Yılmaz, A. I., Yılmaz, K. B., Düzağaç, R. & Yıldız, O. T. (2018). Near duplicate detection in relational databases. Paper presented at the 26th IEEE Signal Processing and Communications Applications Conference, SIU 2018, 1-4. doi:10.1109/SIU.2018.8404678
