Gambar oleh Editor
Model Bahasa Besar (LLM) seperti GPT-3 OpenAI, BERT Google, dan LLaMA Meta merevolusi berbagai sektor dengan kemampuannya menghasilkan beragam teks?—?mulai dari salinan pemasaran dan skrip ilmu data hingga puisi.
Meskipun antarmuka intuitif ChatGPT telah berhasil digunakan di perangkat kebanyakan orang saat ini, masih ada banyak potensi yang belum dimanfaatkan untuk menggunakan LLM dalam beragam integrasi perangkat lunak.
Masalah utama?
Sebagian besar aplikasi memerlukan komunikasi yang lebih lancar dan asli dengan LLM.
Dan di sinilah tepatnya LangChain berperan!
Jika Anda tertarik dengan AI Generatif dan LLM, tutorial ini dibuat khusus untuk Anda.
Jadi ayo mulai!
Jika Anda tinggal di dalam gua dan belum mendapat kabar apa pun akhir-akhir ini, saya akan menjelaskan secara singkat Model Bahasa Besar atau LLM.
LLM adalah sistem kecerdasan buatan canggih yang dibangun untuk meniru pemahaman dan generasi tekstual seperti manusia. Dengan melatih kumpulan data yang sangat besar, model ini dapat memahami pola yang rumit, memahami seluk-beluk linguistik, dan menghasilkan keluaran yang koheren.
Jika Anda bertanya-tanya bagaimana cara berinteraksi dengan model bertenaga AI ini, ada dua cara utama untuk melakukannya:
- Cara yang paling umum dan langsung adalah berbicara atau ngobrol dengan model. Ini melibatkan pembuatan prompt, mengirimkannya ke model yang didukung AI, dan mendapatkan keluaran berbasis teks sebagai respons.
- Metode lainnya adalah mengubah teks menjadi array numerik. Proses ini melibatkan pembuatan prompt untuk AI dan menerima array numerik sebagai imbalannya. Apa yang umumnya dikenal sebagai “penyematan”. Ini telah mengalami lonjakan baru-baru ini dalam Database Vektor dan pencarian semantik.
Dan justru dua masalah utama inilah yang coba diatasi oleh LangChain. Jika Anda tertarik dengan masalah utama interaksi dengan LLM, Anda dapat membaca artikel ini di sini.
LangChain adalah kerangka kerja sumber terbuka yang dibangun berdasarkan LLM. Ini menghadirkan segudang alat, komponen, dan antarmuka yang menyederhanakan arsitektur aplikasi berbasis LLM.
Dengan LangChain, berinteraksi dengan model bahasa, menghubungkan beragam komponen, dan menggabungkan aset seperti API dan database menjadi sangat mudah. Kerangka kerja intuitif ini secara substansial menyederhanakan perjalanan pengembangan aplikasi LLM.
Ide inti dari Long Chain adalah kita dapat menghubungkan berbagai komponen atau modul, yang juga dikenal sebagai rantai, untuk menciptakan solusi bertenaga LLM yang lebih canggih.
Berikut adalah beberapa fitur menonjol dari LangChain:
- Templat cepat yang dapat disesuaikan untuk menstandardisasi interaksi kita.
- Komponen rantai penghubung disesuaikan untuk kasus penggunaan yang canggih.
- Integrasi yang lancar dengan model bahasa terkemuka, termasuk GPT OpenAI dan HuggingFace Hub.
- Komponen modular untuk pendekatan padu padan untuk menilai masalah atau tugas tertentu.
Gambar oleh Penulis
LangChain dibedakan berdasarkan fokusnya pada kemampuan beradaptasi dan desain modular.
Ide utama di balik LangChain adalah memecah urutan pemrosesan bahasa alami menjadi beberapa bagian, memungkinkan pengembang untuk menyesuaikan alur kerja berdasarkan kebutuhan mereka.
Fleksibilitas tersebut menempatkan LangChain sebagai pilihan utama untuk membangun solusi AI dalam berbagai situasi dan industri.
Beberapa komponen terpentingnya adalah…
Gambar oleh Penulis
1. LLM
LLM adalah komponen mendasar yang memanfaatkan sejumlah besar data pelatihan untuk memahami dan menghasilkan teks mirip manusia. Mereka adalah inti dari banyak operasi dalam LangChain, menyediakan kemampuan pemrosesan bahasa yang diperlukan untuk menganalisis, menafsirkan, dan merespons masukan teks.
Pemakaian: Mendukung chatbot, menghasilkan teks mirip manusia untuk berbagai aplikasi, membantu pengambilan informasi, dan melakukan pemrosesan bahasa lainnya
2. Templat yang cepat
Anjuran sangat penting untuk berinteraksi dengan LLM, dan ketika mengerjakan tugas tertentu, strukturnya cenderung serupa. Templat prompt, yang merupakan prompt preset yang dapat digunakan di seluruh rantai, memungkinkan standarisasi “prompt” dengan menambahkan nilai tertentu. Hal ini meningkatkan kemampuan beradaptasi dan penyesuaian LLM apa pun.
Pemakaian: Standarisasi proses interaksi dengan LLM.
3. Parser Keluaran
Pengurai keluaran adalah komponen yang mengambil keluaran mentah dari tahap sebelumnya dalam rantai dan mengubahnya menjadi format terstruktur. Data terstruktur ini kemudian dapat digunakan secara lebih efektif pada tahap berikutnya atau dikirimkan sebagai respons kepada pengguna akhir.
Pemakaian: Misalnya, dalam chatbot, parser keluaran mungkin mengambil respons teks mentah dari model bahasa, mengekstrak informasi penting, dan memformatnya menjadi balasan terstruktur.
4. Komponen dan rantai
Di LangChain, setiap komponen bertindak sebagai modul yang bertanggung jawab atas tugas tertentu dalam urutan pemrosesan bahasa. Komponen-komponen ini dapat dihubungkan menjadi bentuk rantai untuk alur kerja yang disesuaikan.
Pemakaian: Menghasilkan deteksi sentimen dan rantai generator respons di chatbot tertentu.
5. Ingatan
Memori di LangChain mengacu pada komponen yang menyediakan mekanisme penyimpanan dan pengambilan informasi dalam alur kerja. Komponen ini memungkinkan penyimpanan data sementara atau persisten yang dapat diakses dan dimanipulasi oleh komponen lain selama interaksi dengan LLM.
Pemakaian: Hal ini berguna dalam skenario di mana data perlu disimpan di berbagai tahap pemrosesan, misalnya, menyimpan riwayat percakapan di chatbot untuk memberikan respons yang peka terhadap konteks.
6. Agen
Agen adalah komponen otonom yang mampu mengambil tindakan berdasarkan data yang mereka proses. Mereka dapat berinteraksi dengan komponen lain, sistem eksternal, atau pengguna, untuk melakukan tugas tertentu dalam alur kerja LangChain.
Pemakaian: Misalnya, agen mungkin menangani interaksi pengguna, memproses permintaan masuk, dan mengoordinasikan aliran data melalui rantai untuk menghasilkan respons yang tepat.
7. Indeks dan Retriever
Indeks dan Retriever memainkan peran penting dalam mengelola dan mengakses data secara efisien. Indeks adalah struktur data yang menyimpan informasi dan metadata dari data pelatihan model. Di sisi lain, retriever adalah mekanisme yang berinteraksi dengan indeks ini untuk mengambil data yang relevan berdasarkan kriteria tertentu dan memungkinkan model merespons lebih baik dengan memberikan konteks yang relevan.
Pemakaian: Mereka berperan penting dalam mengambil data atau dokumen yang relevan dengan cepat dari kumpulan data yang besar, yang penting untuk tugas-tugas seperti pengambilan informasi atau menjawab pertanyaan.
8. Dokumen Transformer
Di LangChain, Document Transformers adalah komponen khusus yang dirancang untuk memproses dan mengubah dokumen sedemikian rupa sehingga cocok untuk analisis atau pemrosesan lebih lanjut. Transformasi ini mungkin mencakup tugas-tugas seperti normalisasi teks, ekstraksi fitur, atau konversi teks ke format lain.
Pemakaian: Mempersiapkan data teks untuk tahap pemrosesan selanjutnya, seperti analisis dengan model pembelajaran mesin atau pengindeksan untuk pengambilan yang efisien.
9. Menanamkan Model
Mereka digunakan untuk mengubah data teks menjadi vektor numerik dalam ruang berdimensi tinggi. Model ini menangkap hubungan semantik antara kata dan frasa, sehingga memungkinkan representasi yang dapat dibaca mesin. Mereka membentuk landasan untuk berbagai tugas hilir Natural Language Processing (NLP) dalam ekosistem LangChain.
Pemakaian: Memfasilitasi pencarian semantik, perbandingan kesamaan, dan tugas pembelajaran mesin lainnya dengan menyediakan representasi teks numerik.
10. Toko vektor
Jenis sistem basis data yang dikhususkan untuk menyimpan dan mencari informasi melalui penyematan, yang pada dasarnya menganalisis representasi numerik dari data seperti teks. VectorStore berfungsi sebagai fasilitas penyimpanan untuk penyematan ini.
Pemakaian: Mengizinkan pencarian efisien berdasarkan kesamaan semantik.
Menginstalnya menggunakan PIP
Hal pertama yang harus kita lakukan adalah memastikan LangChain telah terinstal di lingkungan kita.
pip install langchain
Pengaturan lingkungan
Memanfaatkan LangChain biasanya berarti berintegrasi dengan beragam penyedia model, penyimpanan data, API, dan komponen lainnya. Dan seperti yang sudah Anda ketahui, seperti integrasi apa pun, penyediaan kunci API yang relevan dan benar sangat penting untuk pengoperasian LangChain.
Bayangkan kita ingin menggunakan OpenAI API kita. Kita dapat dengan mudah mencapai hal ini dengan dua cara:
- Menyiapkan kunci sebagai variabel lingkungan
OPENAI_API_KEY="..."
or
import os
os.environ['OPENAI_API_KEY'] = “...”
Jika Anda memilih untuk tidak membuat variabel lingkungan, Anda memiliki opsi untuk memberikan kunci secara langsung melalui parameter bernama openai_api_key saat memulai kelas OpenAI LLM:
- Langsung siapkan kunci di kelas yang relevan.
from langchain.llms import OpenAI
llm = OpenAI(openai_api_key="...")
Beralih antar LLM menjadi mudah
LangChain menyediakan kelas LLM yang memungkinkan kita berinteraksi dengan penyedia model bahasa yang berbeda, seperti OpenAI dan Hugging Face.
Sangat mudah untuk memulai dengan LLM apa pun, karena fungsi LLM yang paling dasar dan paling mudah diterapkan hanyalah menghasilkan teks.
Namun, menanyakan permintaan yang sama ke LLM yang berbeda sekaligus tidaklah mudah.
Di sinilah LangChain berperan…
Kembali ke fungsionalitas termudah dari LLM mana pun, kita dapat dengan mudah membangun aplikasi dengan LangChain yang mendapatkan prompt string dan mengembalikan output dari LLM yang kami tentukan.
Kode oleh Penulis
Kita cukup menggunakan prompt yang sama dan mendapatkan respons dari dua model berbeda dalam beberapa baris kode!
Kode oleh Penulis
Mengesankan… bukan?
Memberikan struktur pada perintah kita dengan templat cepat
Masalah umum dengan Model Bahasa (LLM) adalah ketidakmampuannya untuk meningkatkan aplikasi yang kompleks. LangChain mengatasi hal ini dengan menawarkan solusi untuk menyederhanakan proses pembuatan perintah, yang seringkali lebih rumit daripada sekadar mendefinisikan tugas karena memerlukan penjabaran kepribadian AI dan memastikan keakuratan faktual. Sebagian besar dari hal ini melibatkan teks boilerplate yang berulang. LangChain mengatasi hal ini dengan menawarkan template prompt, yang secara otomatis menyertakan teks boilerplate dalam prompt baru, sehingga menyederhanakan pembuatan prompt dan memastikan konsistensi di berbagai tugas.
Kode oleh Penulis
Mendapatkan respons terstruktur dengan parser keluaran
Dalam interaksi berbasis obrolan, keluaran model hanyalah teks. Namun, dalam aplikasi perangkat lunak, memiliki keluaran terstruktur lebih disukai karena memungkinkan tindakan pemrograman lebih lanjut. Misalnya, saat membuat kumpulan data, diinginkan untuk menerima respons dalam format tertentu seperti CSV atau JSON. Dengan asumsi sebuah perintah dapat dibuat untuk memperoleh respons yang konsisten dan berformat sesuai dari AI, diperlukan alat untuk mengelola keluaran ini. LangChain memenuhi kebutuhan ini dengan menawarkan alat pengurai keluaran untuk menangani dan memanfaatkan keluaran terstruktur secara efektif.
Kode oleh Penulis
Anda dapat memeriksa seluruh kode di saya GitHub.
Belum lama ini, kemampuan canggih ChatGPT membuat kami terkagum-kagum. Namun, lingkungan teknologi terus berubah, dan kini alat seperti LangChain ada di ujung jari kita, memungkinkan kita membuat prototipe luar biasa dari komputer pribadi hanya dalam beberapa jam.
LangChain, platform Python yang tersedia secara gratis, menyediakan sarana bagi pengguna untuk mengembangkan aplikasi yang didukung oleh LLM (Language Model Models). Platform ini memberikan antarmuka yang fleksibel ke berbagai model dasar, menyederhanakan penanganan cepat dan bertindak sebagai penghubung untuk elemen seperti templat cepat, lebih banyak LLM, informasi eksternal, dan sumber daya lainnya melalui agen, pada dokumentasi saat ini.
Bayangkan chatbots, asisten digital, alat terjemahan bahasa, dan utilitas analisis sentimen; semua aplikasi berkemampuan LLM ini menjadi hidup dengan LangChain. Pengembang memanfaatkan platform ini untuk merancang solusi model bahasa yang dirancang khusus untuk memenuhi kebutuhan berbeda.
Ketika cakrawala pemrosesan bahasa alami meluas dan penerapannya semakin dalam, cakupan penerapannya tampak tidak terbatas.
Josep Ferrer adalah seorang insinyur analitik dari Barcelona. Dia lulus dalam bidang teknik fisika dan saat ini bekerja di bidang Ilmu Data yang diterapkan pada mobilitas manusia. Dia adalah pembuat konten paruh waktu yang berfokus pada ilmu dan teknologi data. Anda dapat menghubunginya di LinkedIn, Twitter or Medium.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://www.kdnuggets.com/how-to-make-large-language-models-play-nice-with-your-software-using-langchain?utm_source=rss&utm_medium=rss&utm_campaign=how-to-make-large-language-models-play-nice-with-your-software-using-langchain
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 7
- a
- kemampuan
- diakses
- mengakses
- menyelesaikan
- ketepatan
- di seluruh
- akting
- tindakan
- tindakan
- menambahkan
- alamat
- alamat
- menangani
- Adopsi
- maju
- Agen
- agen
- silam
- AI
- Bertenaga AI
- Semua
- mengizinkan
- Membiarkan
- memungkinkan
- sudah
- juga
- antara
- jumlah
- an
- analisis
- analisis
- menganalisa
- menganalisis
- berlabuh
- dan
- Apa pun
- api
- Lebah
- Aplikasi
- Pengembangan Aplikasi
- aplikasi
- terapan
- pendekatan
- sesuai
- arsitektur
- ADALAH
- sekitar
- susunan
- Gudang senjata
- artikel
- buatan
- kecerdasan buatan
- AS
- meminta
- menilai
- Aktiva
- asisten
- At
- otonom
- tersedia
- PERASAAN KAGUM
- kembali
- barcelona
- berdasarkan
- dasar
- BE
- menjadi
- menjadi
- menjadi
- di belakang
- Lebih baik
- antara
- Tanpa Batas
- Melanggar
- secara singkat
- Membawa
- membangun
- Bangunan
- dibangun di
- by
- CAN
- kemampuan
- mampu
- menangkap
- kasus
- kasus
- melayani
- gua
- rantai
- rantai
- ChatBot
- chatbots
- ChatGPT
- mengobrol
- memeriksa
- pilihan
- Pilih
- kelas
- kode
- KOHEREN
- bagaimana
- Umum
- umum
- Komunikasi
- perbandingan
- kompleks
- komponen
- komponen
- komputer
- Terhubung
- terhubung
- konsisten
- kontak
- Konten
- konteks
- Percakapan
- Konversi
- mengubah
- mengkonversi
- mengkoordinasikan
- Core
- benar
- kerajinan
- dibuat
- membuat
- membuat
- penciptaan
- pencipta
- kriteria
- sangat penting
- terbaru
- Sekarang
- kustomisasi
- menyesuaikan
- disesuaikan
- data
- ilmu data
- set data
- Basis Data
- database
- memperdalam
- mendefinisikan
- disampaikan
- memberikan
- Mendesain
- ditunjuk
- dirancang
- diinginkan
- Deteksi
- mengembangkan
- pengembang
- Pengembangan
- Devices
- berbeda
- digital
- langsung
- langsung
- melihat
- berbeda
- Terkemuka
- beberapa
- do
- dokumen
- dokumentasi
- dokumen
- turun
- selama
- setiap
- termudah
- mudah
- Mudah
- ekosistem
- efektif
- efisien
- efisien
- elemen
- embedding
- memungkinkan
- akhir
- menarik
- insinyur
- Teknik
- Meningkatkan
- besar sekali
- memastikan
- Lingkungan Hidup
- meningkatkan
- penting
- dasarnya
- menetapkan
- Eter (ETH)
- selalu berubah
- contoh
- mengembang
- berpengalaman
- Menjelaskan
- luar
- ekstrak
- ekstraksi
- Menghadapi
- Fasilitas
- Nyata
- Fitur
- Fitur
- beberapa
- bidang
- ujung jari
- Pertama
- fleksibel
- aliran
- cairan
- Fokus
- terfokus
- Untuk
- bentuk
- format
- Prinsip Dasar
- Dasar
- Kerangka
- bebas
- dari
- fungsi
- mendasar
- lebih lanjut
- menghasilkan
- menghasilkan
- generasi
- generatif
- AI generatif
- generator
- mendapatkan
- mendapatkan
- Go
- memahami
- tangan
- menangani
- Penanganan
- Memiliki
- memiliki
- he
- dia
- sejarah
- memegang
- horison
- JAM
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- Pusat
- MemelukWajah
- manusia
- SAYA AKAN
- ide
- if
- mengimpor
- penting
- in
- ketidakmampuan
- memasukkan
- Termasuk
- masuk
- menggabungkan
- indeks
- sendiri-sendiri
- industri
- informasi
- memulai
- memasukkan
- install
- contoh
- instrumental
- Mengintegrasikan
- integrasi
- integrasi
- Intelijen
- berinteraksi
- berinteraksi
- interaksi
- interaksi
- tertarik
- Antarmuka
- interface
- saling terkait
- ke
- rumit
- intuitif
- melibatkan
- isu
- IT
- NYA
- perjalanan
- json
- hanya
- KDnugget
- kunci
- kunci-kunci
- Kicks
- Tahu
- dikenal
- pemandangan
- bahasa
- besar
- terkemuka
- pengetahuan
- meninggalkan
- Leverage
- Hidup
- 'like'
- baris
- LINK
- hidup
- Llama
- Panjang
- mesin
- Mesin belajar
- Utama
- membuat
- MEMBUAT
- mengelola
- berhasil
- pelaksana
- dimanipulasi
- banyak
- Marketing
- Mungkin..
- cara
- mekanisme
- mekanisme
- hanya
- Metadata
- metode
- mungkin
- mobilitas
- model
- model
- modular
- modul
- Modul
- lebih
- paling
- my
- Bernama
- asli
- Alam
- Bahasa Alami
- Pengolahan Bahasa alami
- perlu
- Perlu
- kebutuhan
- New
- berita
- perhubungan
- bagus
- nLP
- sekarang
- of
- menawarkan
- sering
- on
- sekali
- open source
- OpenAI
- operasi
- Operasi
- pilihan
- or
- OS
- Lainnya
- kami
- menguraikan
- keluaran
- output
- terkemuka
- parameter
- bagian
- tertentu
- bagian
- pola
- Konsultan Ahli
- melakukan
- melakukan
- pribadi
- Komputer pribadi
- frase
- Fisika
- potongan-potongan
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Bermain
- Puisi
- posisi
- potensi
- tepat
- lebih baik
- Perdana
- Masalah
- masalah
- proses
- pengolahan
- menghasilkan
- Pemrograman
- meminta
- prototipe
- memberikan
- penyedia
- menyediakan
- menyediakan
- Ular sanca
- pertanyaan
- segera
- agak
- Mentah
- dunia
- menerima
- baru
- mengacu
- Hubungan
- relevan
- berulang-ulang
- balasan
- perwakilan
- permintaan
- membutuhkan
- kebutuhan
- Persyaratan
- membutuhkan
- Sumber
- Menanggapi
- tanggapan
- tanggapan
- tanggung jawab
- dipertahankan
- kembali
- Pengembalian
- Merevolusi
- benar
- Peran
- s
- sama
- skenario
- Ilmu
- Sains dan Teknologi
- script
- Pencarian
- pencarian
- Sektor
- tampaknya
- mengirim
- sentimen
- Urutan
- melayani
- set
- set
- pengaturan
- penting
- mirip
- disederhanakan
- menyederhanakan
- hanya
- situasi
- So
- Perangkat lunak
- larutan
- Solusi
- beberapa
- mutakhir
- Space
- khusus
- spesialisasi
- tertentu
- ditentukan
- Tahap
- magang
- standardisasi
- mulai
- Masih
- penyimpanan
- menyimpan
- toko
- mempersingkat
- pelurusan
- Tali
- struktur
- tersusun
- struktur
- selanjutnya
- substansial
- seperti itu
- cocok
- memasok
- yakin
- gelora
- sistem
- sistem
- tabel
- disesuaikan
- Mengambil
- pengambilan
- pembicaraan
- tugas
- tugas
- teknologi
- Teknologi
- template
- sementara
- cenderung
- teks
- tekstual
- dari
- bahwa
- Grafik
- mereka
- Mereka
- kemudian
- Sana.
- Ini
- mereka
- hal
- ini
- itu
- meskipun?
- Melalui
- Demikian
- untuk
- hari ini
- bersama
- alat
- Pelatihan
- Mengubah
- transformasi
- transformer
- Terjemahan
- tutorial
- dua
- khas
- memahami
- pemahaman
- belum dimanfaatkan
- us
- dapat digunakan
- menggunakan
- bekas
- Pengguna
- Pengguna
- menggunakan
- keperluan
- Penggunaan
- Nilai - Nilai
- variabel
- variasi
- berbagai
- Luas
- fleksibilitas
- sangat
- melalui
- ingin
- Cara..
- cara
- we
- Apa
- Apa itu
- ketika
- yang
- seluruh
- lebar
- dengan
- dalam
- heran
- kata
- alur kerja
- Alur kerja
- kerja
- namun
- kamu
- Anda
- zephyrnet.dll