Apa itu Pencarian Neural?

By Pradeep Sharma, Hubungan Pengembang di Jina AI

TL;DR: Neural Search adalah pendekatan baru untuk mengambil informasi menggunakan jaringan saraf. Teknik pencarian tradisional biasanya berarti menulis aturan untuk "memahami" data yang dicari dan memberikan hasil terbaik. Namun dengan penelusuran saraf, pengembang tidak perlu memikirkan aturan-aturan ini; Sistem mempelajari aturannya sendiri dan menjadi lebih baik seiring berjalannya waktu. Bahkan pengembang yang tidak mengetahui pembelajaran mesin dapat dengan cepat membangun mesin pencari menggunakan kerangka kerja sumber terbuka seperti Jina.

Apa itu Pencarian Neural?

 

Ada sejumlah besar data di web; bagaimana kita dapat secara efektif mencari informasi yang relevan melaluinya? Dan bukan hanya web yang kita butuhkan: Komputer kita menyimpan data perusahaan dan pribadi berukuran terabyte yang perlu kita gunakan; kita memerlukan pencarian yang efektif untuk menyelesaikan pekerjaan kita sehari-hari. Dan apa yang saya maksud dengan pencarian efektif

• Bisakah kita lebih dari sekadar mencocokkan kata kunci?
• Bisakah kita menelusuri menggunakan bahasa alami, seperti halnya kita menulis atau berbicara?
• Bisakah kita melakukan pencarian dengan cukup cerdas untuk memaafkan kesalahan kecil kita?
• Bisakah kita menelusuri hal-hal yang tidak sama persis namun “cukup mendekati”?

Kita bisa menjawab semua pertanyaan itu dengan satu kata: Ya. Untuk memahami caranya, kita perlu memasuki dunia Natural Language Processing. NLP adalah bidang ilmu komputer yang berhubungan dengan analisis data bahasa alami, seperti percakapan manusia sehari-hari.

NLP adalah dasar dari pencarian cerdas, dan kita telah melihat tiga pendekatan berbeda dalam bidang ini sebagai berikut.

Evolusi metode pencarian

 

1. Aturan (1950–1990an)
   Aturan tulisan tangan rumit yang meniru Pemahaman Bahasa Alami.
   Kekurangan: Aturan tulisan tangan hanya dapat dibuat lebih akurat dengan meningkatkan kompleksitasnya, yang merupakan tugas yang jauh lebih sulit dan tidak dapat dikelola seiring berjalannya waktu.
2. Statistik (1990an - 2010an)
   Keputusan probabilistik berdasarkan bobot, pembelajaran mesin, dan rekayasa fitur.
   Pembuatan dan pengelolaan aturan diselesaikan dengan pembelajaran mesin, di mana sistem secara otomatis mempelajari aturan dengan menganalisis teks besar di dunia nyata.
   Kekurangan: Metode statistik ini memerlukan rekayasa fitur yang rumit.
3. Jaringan Neural (Sekarang)

   Metode pembelajaran mesin tingkat lanjut seperti jaringan saraf dalam dan pembelajaran representasi.

   Sejak tahun 2015, sebagian besar metode statistik telah ditinggalkan, dan telah terjadi pergeseran ke metode statistik jaringan saraf dalam pembelajaran mesin. Teknik populer yang menggunakan metode ini menjadikannya alternatif yang lebih akurat dan terukur. Ini melibatkan

   • Penggunaan penyematan kata untuk menangkap sifat semantik kata
   • Fokus pada pembelajaran end-to-end dari tugas-tugas tingkat yang lebih tinggi (misalnya, menjawab pertanyaan)

Saat Anda menggunakan Jaringan Neural untuk membuat penelusuran Anda lebih cerdas, kami menyebutnya a Sistem Pencarian Saraf. Dan seperti yang akan Anda lihat, ini mengatasi beberapa kekurangan penting dari metode lain.

Perhatikan bahwa penerapan Neural Search tidak hanya terbatas pada teks. Ini melampaui apa yang dicakup NLP. Dengan penelusuran saraf, kami mendapatkan kemampuan tambahan untuk mencari gambar, audio, video, dll.

Mari kita lihat perbandingan metode penelusuran ujung ekstrem — “Aturan” vs “Jaringan Syaraf Tiruan”:

Aturan (Pencarian Simbolik) vs Jaringan Neural (Pencarian Neural)

 

Perbandingan Pencarian Simbolik vs Pencarian Neural

 

Meskipun metode Penelusuran Neural telah semakin meluas sejak tahun 2015, dan harus menjadi area fokus utama dari setiap sistem penelusuran baru, kita tidak boleh sepenuhnya mengesampingkan metode Penelusuran Simbolik (berbasis aturan). Faktanya, menggunakan kombinasi Neural Search dan Symbolic Search dapat memberikan hasil yang optimal.

Mari kita lihat beberapa aplikasi Neural Search yang hebat

Aplikasi Pencarian Neural

 
Pencarian semantik

🔍 addidsa troser

(merek dan kategori salah eja, tetap memberikan hasil yang relevan serupa dengan kueri “celana adidas”)

 
Cari antar tipe data

Dengan Neural Search, Anda dapat menggunakan satu jenis data untuk mencari jenis data lain, misalnya menggunakan teks untuk mencari gambar, atau audio untuk mencari video.

Contoh pencarian lintas modal

 

 
Cari dengan beberapa tipe data

Dengan Neural Search, Anda dapat membuat kueri dengan beberapa tipe data kueri, misalnya menelusuri gambar dengan teks+gambar

Contoh pencarian multimodal

 

Mulailah dengan Penelusuran Neural

 
Untuk pencarian berbasis aturan, Apache Solr, Elasticsearch, dan Lucene adalah solusi de-facto. Di sisi lain, Neural Search relatif baru, tidak banyak paket siap pakai. Belum lagi, melatih jaringan saraf untuk sistem seperti itu memerlukan data yang cukup banyak. Tantangan-tantangan ini dapat diselesaikan dengan menggunakan Jina, kerangka kerja pencarian saraf sumber terbuka. Untuk mulai membangun sistem Neural Search Anda sendiri menggunakan Jina:

Referensi

 
Bio: Pradeep Sharma menulis kode & artikel tentang produktivitas, rekayasa perangkat lunak, pembangunan tim, kerja jarak jauh, dll.

Original. Diposting ulang dengan izin.

Terkait:

Sumber: https://www.kdnuggets.com/2021/05/what-neural-search.html