ChartGPT Aplikasi Kecerdasan Buatan

ChatGPT (Chat Generative Pre-trained Transformer) secara harafiah berarti Transformer Generatif Chat Terlatih) adalah sebuah chatbot AI berupa model bahasa generatif yang menggunakan teknologi transformer untuk memprediksi probabilitas kalimat atau kata berikutnya dalam suatu percakapan ataupun perintah teks. ChatGPT dibuat menggunakan model bahasa besar (LLM)  atau Large Language Model (LLM) sebagai GPT-3.5 dan GPT-4 dan telah disetel (pendekatan pembelajaran transfer) menggunakan teknik pembelajaran terarah dan penguatan. 

ChatGPT dikembangkan oleh OpenAI; sebuah laboratorium penelitian kecerdasan buatan yang berpusat di Ohio, Amerika Serikat. Model ini dapat digunakan tujuan yang beragam, seperti membuat obrolan otomatis di aplikasi percakapan, membantu dalam pembuatan konten, atau bahkan membantu dalam penerjemahan berbagai bahasa dengan tingkat akurasi yang berbeda-beda untuk tiap bahasa.

ChatGPT diluncurkan sebagai prototipe pada 30 November 2022, dan cepat menarik perhatian untuk respons yang detail dan artikulasi jawaban yang baik dengan domain pengetahuan yang banyak. Tetapi, akurasi faktual yang bervariasi telah diidentifikasi sebagai kekurangan yang signifikan. Setelah peluncuran ChatGPT, penilaian OpenAI diperkirakan sebanyak US$29 miliar pada 2023. ChatGPT awalnya berbasis GPT-3.5; GPT-4, model OpenAI yang terbaru, dirilis pada 14 Maret 2023, dan tersedia untuk pengguna ChatGPT Plus.

Bahasa manusia dicirikan oleh ambiguitas, deskripsi yang tidak jelas, dan konteks yang kompleks. Namun mesin berhasil secara otomatis menghasilkan teks yang setidaknya tampak masuk akal dan bahkan sebagian besar masuk akal. Hasilnya seharusnya menjadi lebih baik saat membuat kode program dengan sintaks yang jelas dan struktur tetapnya. Oleh karena itu, alat seperti Copilot atau ChatGPT memiliki potensi yang sangat besar untuk mendukung pemrogram dalam menulis kode mereka.

"Bahasa pemrograman adalah bahasa yang sangat sederhana yang mudah dipelajari dari pola dan contoh untuk mesin. "Di atas segalanya, campuran input bahasa umum untuk menjelaskan masalah dan ekspresi bahasa pemrograman yang seharusnya disampaikan oleh sistem sebenarnya disesuaikan dengan kemampuan ChatGPT." Jadi tidak heran jika OpenAI menggunakan kecerdasan buatannya selain pelatihan esai yang komprehensif, puisi dan teks lagu   dibiasakan dengan kode program. Paling tidak karena programmer bisa menjadi pendukung penting di perusahaan di masa depan,

Potensi ChatGPT sebagai alat pemrograman tentunya belum habis. Misalnya, bahkan tidak dapat menjalankan kode yang telah ditulisnya atas permintaan pengguna dan memeriksa apakah itu berfungsi. "Anda harus ingat   teknologi ini baru tersedia secara bebas selama enam bulan. Tetapi untuk mengintegrasikan model bisnis tertentu dan aplikasi bisnis dengan fungsi tambahan seperti itu tentu saja akan menjadi langkah logis berikutnya.

Sejauh menyangkut versi ChatGPT saat ini, fungsionalitasnya pada dasarnya terdiri dari dua area besar: model bahasa yang mendasarinya dan fungsi obrolan di atasnya, yang memastikan pengoperasian yang mudah digunakan. Model bahasa, terutama GPT1, 2 dan 3, telah ada selama beberapa tahun dan telah melatih diri mereka sendiri menggunakan data dalam jumlah besar. Fokusnya adalah pada teks yang dapat diakses secara bebas dari Internet, tetapi   kode program, yang   tersedia secara bebas dalam bentuk perangkat lunak sumber terbuka, kursus pemrograman, atau kode contoh.

"Sederhananya, AI selalu menyimpan kata untuk dirinya sendiri dan mencoba menebaknya,". Para ahli mengatakan   algoritme "menutupi" beberapa karakter dalam string karakter dan kemudian mencoba menyimpulkan konten tersembunyi dari konteks ke kiri atau kanan karakter yang disamarkan. Karena tidak memerlukan intervensi manusia lebih lanjut, ini disebut sebagai "pembelajaran yang dipantau sendiri". Dan setelah menyelesaikan pelatihan, akhirnya dapat membuat saran yang masuk akal untuk kata selanjutnya berdasarkan awal teks yang ditentukan oleh pengguna. 

Kemudian datang yang berikutnya tetapi satu dan akhirnya keseluruhan, teks baru dibuat yang tampaknya masuk akal, tetapi pada akhirnya hanya mencerminkan evaluasi statistik dari data pelatihan. "Tentu saja, sistem seperti itu tidak memiliki pemahaman yang nyata tentang konten yang dihasilkan. Faktanya, itu berhalusinasi dengan gembira, meski terkadang dengan hasil yang mencengangkan.

ChatGPT kemudian mengemas model bahasa tersebut, yang menurut Burchardt tentunya dapat dianggap sebagai tonggak dalam penelitian AI, ke dalam fungsi obrolan yang memungkinkan pengguna berinteraksi secara intuitif. Dia dapat menggunakannya untuk berdialog dengan sistem, meminta perubahan atau peningkatan di sana-sini dan mendekati hasil yang diinginkan dalam beberapa gerakan. Berbeda dengan model bahasa itu sendiri, fungsi ini adalah hasil dari upaya intensif manusia dalam melatih AI.

"Banyak orang pertama-tama membuat kueri tipikal ke sistem dan kemudian mengevaluasi hasilnya," jelas Burchardt. Melalui "pembelajaran penguatan" ini, ChatGPT akhirnya belajar untuk hanya memberikan jawaban terbaik dan paling membantu.

Sebastian Erdweg adalah seseorang  pengembangan perangkat lunak. Dia mengepalai kelompok kerja untuk bahasa pemrograman di Universitas Johannes Gutenberg di Mainz dan bereksperimen mencoba ChatGPT untuk tujuan ini. "Kemungkinan yang ditawarkan oleh AI untuk meningkatkan perangkat lunak sangat relevan," simpulnya. "Namun, dalam kasus ChatGPT, penting untuk memahami bagaimana program berbeda dari teks dalam bahasa manusia." Lagi pula, teks biasanya tidak dapat digunakan persis seperti yang dimuntahkan oleh AI. Namun, teks yang berisi argumen lemah tidak langsung runtuh sepenuhnya, sedangkan program komputer pada akhirnya harus berfungsi dengan benar.

 "Anda bisa membandingkannya dengan resep. Karena mirip dengan program, mereka   menentukan aturan yang tepat. Ada daftar bahan dan instruksi memasak langkah demi langkah - semua keteraturan yang seharusnya memudahkan AI untuk menghasilkan resep berdasarkan preferensi pribadi pengguna. Namun, itu hanya mengoptimalkan masuk akal berdasarkan resep lain yang telah dibuat oleh manusia, sementara kesalahan tertentu hanya terungkap saat mencobanya. "Misalnya, jika instruksinya adalah memotong kentang terlebih dahulu lalu memasaknya utuh, itu kontradiksi yang bermasalah. "Dan karena algoritme ini benar-benar tidak tahu tentang memasak, itu bisa terjadi kapan saja."

Sama tidak cukupnya jika kode program hanya terlihat masuk akal di permukaan. Satu pernyataan yang salah dapat menyebabkan seluruh program batal karena tidak menghasilkan hasil yang berarti. "Dan yang lebih buruk: Sangat sulit untuk menemukan kesalahan ini. Lagi pula, dalam pengembangan perangkat lunak, pemeliharaan kode program pihak ketiga biasanya jauh lebih kompleks daripada pengembangan awal. Dan dengan kode yang dihasilkan secara otomatis, seorang pemrogram dengan sangat cepat menemukan dirinya dalam situasi harus melakukan pemecahan masalah yang membosankan ini.

Namun demikian, fungsionalitas ChatGPT   mengesankan ilmuwan komputer: "Ini bekerja dengan sangat baik untuk contoh pemrograman sederhana." Namun, ini adalah algoritme standar yang sudah tersedia 1000 kali di Internet dan kemungkinan besar sistemnya telah dilatih secara khusus. . "Namun, jika Anda terus mengkhususkan persyaratan dan semakin bergerak ke arah aplikasi yang realistis, maka semuanya akan runtuh dengan relatif cepat.

Kekuatan khusus ChatGPT adalah kemungkinan untuk tetap berdialog dengan sistem - fungsi yang tidak ada di alat pengembang perangkat lunak Copilot yang agak lama. "Jika Anda membuat program dengan Copilot dan tidak berfungsi dengan baik, satu-satunya pilihan adalah menghapusnya dan memulai dengan permintaan baru.  ChatGPT benar-benar membuat saya terkesan dengan kemungkinan mendasar untuk meminta program yang diperbaiki melalui dialog.

Namun, pengembangan AI tampaknya   tidak mencapai tujuannya di bidang ini. Misalnya sebuah dialog di mana dia berulang kali meminta ChatGPT untuk memperbaiki titik kesalahan tertentu dalam kode. "AI kemudian melakukan itu dan menyarankan program baru kepada saya, di mana titik ini benar-benar diperbaiki," lapor peneliti. "Namun, pada saat yang sama ada sesuatu yang pecah di tempat lain." Dan permintaan untuk memperbaiki masalah baru akhirnya menghasilkan semacam penutupan melingkar di mana kerentanan sebelumnya muncul kembali. 

"Rasanya seperti berbicara dengan balita. Dan beberapa iterasi kemudian, AI, dalam kemampuan dialognya yang sangat dibanggakan, bahkan menghadapkan penggunanya dengan pernyataan palsu, mengklaim   kesalahan telah diperbaiki, meskipun masih ada. "AI oleh karena itu tidak memahami apa yang dilakukannya atau dialog yang dilakukannya. "Jadi, anda harus sangat berhati-hati saat menanganinya."

Ilmuwan komputer melihat satu cara menggunakan ChatGPT secara produktif untuk menulis kode, setidaknya untuk saat ini, untuk membatasi diri pada tujuan yang lebih sederhana dan hanya menggunakan AI untuk tugas-tugas kecil yang terlepas dari perangkat lunak lainnya. 

Ini dapat dibandingkan dengan outsourcing yang umum dalam pengembangan perangkat lunak, di mana bagian dari perangkat lunak dikembangkan oleh subkontraktor. "Anda tidak pernah tahu pasti apakah suku cadang ini akan berfungsi dengan baik atau apakah persyaratannya telah dipahami dengan benar," kata Erdweg. Dan baik saat melakukan outsourcing maupun saat bekerja dengan kecerdasan buatan, pemrogram yang bertanggung jawab tidak punya pilihan selain mencari kesalahan dengan cermat pada kode yang dikirimkan atau mengujinya sampai akhirnya dia mempercayainya.

Dengan nama Minerva, para peneliti memulai dengan Google's Pathways Language Model (PaLM), yang memiliki 540 miliar parameter dan dilatih pada kumpulan data 780 miliar token . Token bisa berupa kata, angka, atau satuan informasi; dalam kasus PaLM, token diambil dari situs web, buku, dan kode pemrograman. Minerva adalah hasil dari penyempurnaan PaLM pada miliaran token dari makalah ilmiah dan situs web terkait matematika.

Minerva dapat menjawab pertanyaan seperti: Berapa kelipatan terbesar dari 30 yang kurang dari 520? LLM tampaknya memikirkan langkah-langkahnya, namun yang dilakukannya hanyalah mengubah pertanyaan menjadi urutan token, menghasilkan token berikutnya yang masuk akal secara statistik, menambahkannya ke urutan asli, menghasilkan token lain, dan seterusnya. Sebuah proses yang disebut inferensi.

Peneliti Google menyempurnakan Minerva menjadi tiga ukuran menggunakan model PaLM yang telah dilatih sebelumnya dengan parameter 8 miliar, 62 miliar, dan 540 miliar. Performa Minerva meningkat saat dia bertambah besar. Di seluruh kumpulan data MATH, model terkecil mencapai akurasi 25 persen, model sedang 43 persen, dan model terbesar melebihi 50 persen.

Model terbesar   menggunakan jumlah data fine-tuning paling sedikit -- itu disesuaikan dengan hanya menggunakan 26 miliar token, sedangkan model terkecil dianggap 164 miliar token. Namun, model terbesar membutuhkan waktu satu bulan untuk menyempurnakannya, pada perangkat keras khusus yang memiliki kekuatan pemrosesan delapan kali lipat dari model terkecil, yang hanya membutuhkan waktu dua minggu untuk menyempurnakannya. Idealnya, model terbesar harus dicocokkan dengan token yang jauh lebih banyak, maka mungkin akan lebih kuat.

Model Minerva terbesar konsisten dengan hasil dari penelitian yang telah mengungkap hukum penskalaan aturan yang menentukan bagaimana kinerja meningkat dengan ukuran model. Sebuah studi tahun 2020 menunjukkan   model bekerja lebih baik ketika memenuhi salah satu dari tiga kondisi: lebih banyak parameter, lebih banyak data pelatihan, atau lebih banyak daya komputasi (jumlah komputasi yang dilakukan selama pelatihan). Performanya meningkat secara eksponensial.

Namun, para peneliti tidak tahu persis mengapa. "Hukumnya murni empiris," kata ilmuwan komputer di University of Montreal dan Quebec Artificial Intelligence Institute. Untuk hasil terbaik, studi tahun 2020 menemukan, ukuran model harus ditingkatkan lima kali lipat dan data pelatihan digandakan. Namun dalam praktiknya, ini berbeda dalam beberapa kasus pada tahun 2022: perusahaan AI yang berbasis di London, DeepMind.

Misalnya, ditemukan pada bulan Maret ketika bekerja pada model dengan ukuran yang berbeda, ditemukan   peningkatan ukuran model dan data pelatihan bekerja lebih baik, dan   model yang lebih kecil dilatih dengan lebih banyak data memiliki kinerja yang lebih baik daripada model yang lebih besar yang dilatih dengan lebih sedikit data. Misalnya, model Chinchilla DeepMind memiliki 70 miliar parameter dan dilatih dengan 1,4 triliun token, sedangkan model Gopher dengan 280 miliar parameter dilatih dengan 300 miliar token. Chinchilla mengungguli gopher dalam tugas yang dirancang untuk menilai apa yang telah dipelajari LLM.

Ilmuwan Meta Research membangun konsep ini pada Februari 2022, mengembangkan model parameter kecil mereka sendiri yang disebut LLaMA [LaMDA (Language Model for Dialogue Applications), yang dilatih hingga 1,4 triliun token. Versi 13 miliar parameter LLaMA mengungguli GPT-3 prekursor ChatGPT (175 miliar parameter), menurut para peneliti, sedangkan versi 65 miliar parameter mampu bersaing dengan Chinchilla dan bahkan PaLM. 

Dan terakhir, Ethan Caballero dari McGill University di Montreal, bersama dengan Rish dan lainnya, melaporkan pada Oktober 2022    menemukan hubungan yang lebih kompleks antara ukuran dan kekuatan. Dalam beberapa kasus, beberapa undang-undang kekuatan dapat mengatur bagaimana skala kinerja dengan ukuran model, tulis para peneliti.

Dalam skenario hipotetis berdasarkan persamaan umum yang mereka temukan, kinerja meningkat secara bertahap pada awalnya dan kemudian lebih cepat dengan ukuran model, tetapi kemudian sedikit menurun karena jumlah parameter terus meningkat, sebelum meningkat lagi. Karakteristik dari hubungan yang kompleks ini bergantung pada spesifikasi masing-masing model dan cara pelatihannya. Harapannya: untuk dapat memprediksi kondisi kerangka kerja ini di masa mendatang ketika LLM tertentu ditingkatkan.

Dan ada wawasan teoretis lain yang mendukung dorongan untuk model yang lebih besar   sebuah "hukum ketahanan" untuk pembelajaran mesin, yang diperkenalkan pada tahun 2021 oleh peneliti ahli statistik di Universitas Stanford di California. Sebuah model dianggap kuat jika responsnya tetap konsisten meskipun ada sedikit gangguan pada input. Hal ini diketahui, misalnya, dari pengenalan citra: telah berulang kali ditunjukkan   sistem dapat dibingungkan jika hanya beberapa piksel dari suatu citra yang diubah. Orang-orang bahkan tidak akan menyadarinya.

Semakin kuat kecerdasan buatannya, semakin baik ia dapat bereaksi terhadap data baru. Bubeck dan Sellke menunjukkan secara matematis   meningkatkan jumlah parameter dalam model meningkatkan ketangguhannya dan karenanya kemampuannya untuk menggeneralisasi. Hukum membuktikan   pembesaran diperlukan untuk generalisasi, tetapi pembesaran tidak cukup, kata Bubeck. Meskipun demikian, ini digunakan sebagai pembenaran untuk mengembangkan model yang lebih besar.

Dengan Minerva, para peneliti   telah mendemonstrasikan inovasi penting: apa yang disebut dorongan rantai pemikiran. Pengguna mengawali pertanyaannya dengan teks yang berisi beberapa contoh pertanyaan dan solusi, termasuk penalaran - rangkaian pemikiran yang khas - yang mengarah pada jawaban. Selama inferensi, LLM menggunakan petunjuk ini dan memberikan jawaban langkah demi langkah yang   terlihat seperti argumen. Ini tidak memerlukan pembaruan parameter model dan oleh karena itu tidak diperlukan daya komputasi tambahan untuk penyetelan halus.

Kemampuan untuk bereaksi terhadap rangkaian pemikiran hanya terlihat pada LLM dengan lebih dari 100 miliar parameter. Penemuan semacam itu telah membantu model yang lebih besar meningkat sesuai dengan hukum penskalaan empiris,  kata peneliti Google Research. Mereka yakin: Model yang lebih besar menjadi lebih baik dan lebih baik.

Tetapi ada   suara kritis dari peneliti AI di Google, yakin   LLM tidak akan pernah memiliki kemampuan untuk berpikir dengan cukup baik (atau meniru pemikiran) untuk memecahkan masalah baru secara andal - tidak peduli seberapa besar masalah tersebut. LLM sepertinya hanya berpikir menggunakan template yang pernah ditemui sebelumnya, katanya - baik di data pelatihan atau di prompt pengguna. "Itu tidak dapat secara spontan memahami sesuatu yang belum pernah dilihatnya." 

Model bahasa hanya dapat memproses data pelatihan yang cukup sehingga pola statistik bahasa saja akan memungkinkan mereka untuk menjawab pertanyaan dengan jawaban yang sangat dekat dengan apa yang sudah mereka miliki. terlihat.

Namun, LLM telah memperoleh beberapa keterampilan mengejutkan yang tidak mereka latih secara khusus. Secara khusus, dia mengacu pada tes yang dirancang untuk menunjukkan apakah seseorang memiliki apa yang dikenal sebagai teori pikiran  kemampuan untuk berempati dengan orang lain. Mari kita ambil contoh sederhana ini:  Suharti  menyimpan kacamatanya di dalam laci. Kemudian, tanpa sepengetahuan  Suharti, Budianti  menyembunyikan kacamatanya di bawah bantal. 

Di mana  Suharti  akan mencari kacamatanya terlebih dahulu? Anak-anak hanya bisa menyelesaikan ini dari usia tertentu. Sebelumnya, mereka mengira  Suharti  mengetahui hal yang sama seperti yang mereka lakukan sebagai pengamat, dan menjawab   dia sedang melihat ke bawah bantal.

Dalam eksperimennya dengan LLM atau Large Language Model (LLM) lain dari Google, Model Bahasa untuk Aplikasi Dialog (LaMDA) atau LaMDA (Language Model for Dialogue Applications). Model  LaMDA menjawab dengan benar dalam percakapan yang lebih panjang dari jenis ini. Baginya, ini merupakan indikasi kemampuan LLM untuk secara internal memodelkan niat orang lain. "Model-model ini, yang hanya memprediksi urutan, mengembangkan berbagai keterampilan yang luar biasa, termasuk teori pikiran. Namun dia mengakui   model ini rentan terhadap kesalahan. Dia   tidak yakin apakah penskalaan saja sudah cukup.

Dan bahkan jika LLM mendapat jawaban yang benar, mereka tidak akan mengerti. "Kalau coba tanya sedikit, langsung jelas ini semua kosong. ChatGPT tidak tahu apa yang dibicarakan," katanya. Anda melihat teater boneka dan percaya   boneka itu hidup.

Sejauh ini, LLM masih membuat kesalahan absurd yang tidak akan pernah dilakukan manusia,  yang mempelajari abstraksi konseptual dan pembentukan analogi dalam sistem AI. Oleh karena itu, banyak orang yang khawatir apakah aman untuk melepaskan LLM ke masyarakat tanpa batasan yang jelas.

Dan masalah dalam perdebatan tentang apakah LLM /Large Language Model benar-benar dapat memecahkan masalah baru yang tak terlihat adalah   peneliti tidak memiliki cara untuk menguji kemampuan ini secara komprehensif, tambah Mitchell. "Standar kami saat ini tidak memeriksa berbagai hal secara sistematis. Kami belum benar-benar tahu bagaimana melakukannya." Chollet menganjurkan tes penalaran abstrak yang dia kembangkan, Korpus Penalaran Abstrak.

Sementara beberapa membangun model bahasa yang lebih besar dan lebih besar, yang lain memiliki perhatian serius tentang tren ini. Salah satunya adalah mengingat kumpulan data yang sangat besar dan daya komputasi yang terlibat dalam pelatihan LLM besar, hanya perusahaan dengan sumber daya yang sangat besar yang mampu mengembangkannya. 

OpenAI belum mengkonfirmasi biaya ChatGPT tetapi menurut perkiraan pasti menghabiskan biaya lebih dari $4 juta hanya untuk pra-pelatihan GPT-3 (pendahulu ChatGPT). ChatGPT kemungkinan menghabiskan biaya OpenAI jutaan dolar untuk dijalankan berdasarkan jumlah permintaan yang sekarang ditangani oleh chatbot gratis. "Kami sudah mendalami sistem ini," kata Bubeck. Hanya ada beberapa perusahaan yang memiliki model dengan lebih dari 100 miliar parameter.

Berkat pendanaan publik, lapangan bermain sebagian berkembang: Pada Juni 2022, tim internasional yang terdiri dari sekitar 1.000 peneliti sukarela, dengan dukungan keuangan dari pemerintah Prancis, perusahaan AI AS bernama Hugging Face dan lainnya, melatih model yang disebut BLOOM dengan sekitar 175 miliar parameter , untuk apa 7 juta dolar waktu komputasi dikeluarkan . 

Dan pada bulan November, Departemen Energi AS memberikan waktu komputasi untuk sebuah proyek oleh Irina Rish dan rekan-rekannya. Anda ingin membuat model untuk mempelajari perilaku LLM/Large Language Model . "Kami berharap dapat melatih model mirip chinchilla dengan 70 miliar parameter - belum tentu yang terbesar, tetapi yang memiliki skala kinerja paling efektif," kata Rish.

Terlepas dari siapa yang membangunnya, LLM/Large Language Model    menimbulkan kekhawatiran tentang konsumsi daya. Google, misalnya, telah melaporkan   pelatihan PaLM memakan waktu sekitar 3,4 giga watt jam selama sekitar dua bulan. Ini sesuai dengan konsumsi listrik tahunan sekitar 300 rumah tangga AS. Google melatih PaLM di pusat data Oklahoma, yang dikatakan didukung oleh 89 persen energi netral karbon, sebagian besar dari tenaga angin dan sumber terbarukan lainnya . Namun, survei industri menunjukkan   sebagian besar model AI dilatih tentang listrik, yang sebagian besar masih berasal dari sumber fosil.

Chollet khawatir   semakin banyak perusahaan sekarang melatih dan menggunakan model yang lebih besar, sehingga mengkonsumsi lebih banyak listrik: "Setiap perusahaan teknologi besar sekarang akan mencoba menggunakan LLM (Large Language Model) dalam produk mereka, terlepas dari apakah itu ide yang bagus atau tidak."

Oleh karena itu, bagi banyak ilmuwan, ada kebutuhan mendesak untuk mengurangi konsumsi energi LLM/Large Language Model - untuk membuat jaringan saraf lebih kecil dan lebih efisien dan mungkin   lebih pintar. Selain biaya energi pelatihan LLM (yang signifikan, tetapi hanya satu kali), kebutuhan energi inferensi -- di mana LLM menjawab pertanyaan  dapat meroket sebagai jumlah pengguna meningkat. 

Perusahaan teknologi besar belum mengomentari biaya penggunaan model mereka. Memeluk Wajah, misalnya, telah diungkapkan,   model BLOOM-nya, yang diterapkan selama 18 hari di Google Cloud Platform, menanggapi 230.768 kueri selama waktu tersebut (jauh lebih sedikit daripada ChatGPT, yang mencapai 100 juta pengguna aktif bulanan pada Februari 2023), mengonsumsi rata-rata 1.664 watt.  Istilah BigScience Large Open-science Open-access Multilingual Language Model (BLOOM).

Sebagai perbandingan, otak kita jauh lebih rumit dan lebih besar daripada LLM mana pun, dengan 86 miliar neuron dan sekitar 100 triliun koneksi sinaptik. Namun hanya mengkonsumsi antara 20 dan 50 wattl. Oleh karena itu, beberapa peneliti berharap   meniru aspek otak akan membantu LLM dan jaringan saraf lainnya menjadi lebih kecil, lebih pintar, dan lebih efisien.

Salah satu sumber efisiensi otak bisa disebut hubungan berulang atau umpan balik. LLM /Large Language Model pada dasarnya adalah jaringan umpan maju. Oleh karena itu, informasi hanya mengalir dalam satu arah: dari input melalui lapisan LLM ke output. Otak terhubung secara berbeda. Dalam sistem visual manusia, misalnya, neuron menghubungkan bagian otak yang pertama kali menerima informasi visual ke bagian yang lebih jauh ke belakang. Tetapi ada   koneksi umpan balik yang memungkinkan informasi ditransmisikan antar neuron dengan arah yang berlawanan. 

"Mungkin ada sepuluh kali lebih banyak koneksi umpan balik daripada koneksi maju dalam sistem visual,", di sisi lain, tidak memiliki koneksi umpan balik.

Jaringan saraf tiruan yang berisi koneksi umpan maju dan umpan balik biasanya disebut sebagai jaringan saraf berulang (RNN) atau Recurrent Neural Networks (RNN). Jaringan seperti itu, tidak seperti LLM feedforward, dapat mengenali pola dalam data yang berubah seiring waktu. Ini adalah "dasar bagaimana semua kecerdasan alami mengalami dan mempelajari dunia. Tapi RNN   punya jebakan, kata Rajan. Misalnya, mereka berat dan lambat untuk dilatih, membuatnya sulit untuk disesuaikan dengan ukuran LLM/Large Language Model  saat ini.

Alasan lain mengapa otak efisien adalah karena sebagian besar neuron biologis tidak aktif - mereka hanya memiliki ledakan aktivitas sesekali. Sebaliknya, neuron buatan di sebagian besar jaringan saraf dimodelkan untuk selalu aktif. Para peneliti sekarang menyelidiki neuron buatan yang melonjak (meniru neuron nyata). 

Namun, sulit mengadaptasi algoritme yang melatih jaringan saraf normal ke jaringan yang menggunakan neuron spiking. Namun, penelitian menggunakan kumpulan data kecil (seperti 10.000 sampel audio yang digunakan untuk melatih jaringan pengenalan digit yang diucapkan) telah menunjukkan   RNN (Recurrent Neural Network) dengan neuron spiking mengungguli neuron standar, dan secara teoritis tiga kali lipat lebih efisien. "Kemajuannya cepat dan mengesankan, yang bekerja di bidang ini di Institut Penelitian Nasional untuk Matematika dan Informatika di Amsterdam.

Namun, selama jaringan spiking tersebut hanya disimulasikan dalam perangkat lunak, mereka tidak dapat memberikan peningkatan efisiensi yang nyata - lagipula, perangkat keras yang mereka simulasikan terus mengonsumsi listrik. Elemen komputasi yang sesuai harus dibangun ke dalam perangkat keras, pada chip neuromorfik, untuk memanfaatkannya.

Sementara itu, para peneliti sedang bereksperimen dengan berbagai cara untuk membuat LLM/Large Language Model  yang ada lebih hemat energi dan cerdas. Kembali pada Desember 2021, DeepMind memperkenalkan sistem yang disebut RETRO (Retrieval-Enhanced Transformer) yang menggabungkan LLM dengan database eksternal. 

LLM menggunakan teks relevan yang diambil dari database ini selama inferensi. Para peneliti mampu menunjukkan   LLM dengan 7,5 miliar parameter digabungkan dengan database 2 triliun token mengungguli LLM dengan parameter 25 kali lebih banyak . Ini adalah "pendekatan yang lebih efisien daripada penskalaan parameter murni, karena kami mencoba membuat model bahasa yang lebih kuat," tulis para peneliti dalam artikel mereka.

Pada bulan yang sama, ilmuwan dari Google Research melaporkan cara lain untuk meningkatkan efisiensi energi dalam skala besar. Generalist Language Model (GLaM) memiliki 1,2 triliun parameter. Namun, parameter ini tidak mewakili satu jaringan saraf raksasa, tetapi didistribusikan secara internal ke 64 jaringan saraf yang lebih kecil dan lapisan lainnya. LLM/Large Language Model  dilatih untuk menggunakan hanya dua jaringnya untuk menyelesaikan tugas selama inferensi; secara keseluruhan, LLM hanya menggunakan sekitar 8 persen dari lebih dari satu triliun parameternya untuk inferensi per token.

Menurut Google, GLaM membutuhkan jumlah sumber daya komputasi yang sama dengan pelatihan GPT-3, tetapi hanya menggunakan sekitar sepertiga energi karena peningkatan dalam perangkat lunak dan perangkat keras pelatihan. Selama inferensi, GLaM menggunakan separuh sumber daya komputasi yang dibutuhkan GPT-3. Dan itu mengungguli GPT-3 saat dilatih dengan jumlah data yang sama.

Namun, sebuah tren   muncul di sini: Bahkan LLM (Large Language Model ) yang lebih hemat energi ini harus menjadi lebih besar agar menjadi lebih baik. Jadi, jika   akan menggunakan lebih banyak data, daya pemrosesan, dan energi untuk kinerja yang lebih baik. Bersama dengan rekan-rekannya, dia akan mengamati bagaimana jaringan ini berubah dengan ukuran yang semakin besar,   dan terutama perilaku mereka: "Saya tidak yakin apakah sebagai hasilnya, pemikiran logis akan berkembang sepenuhnya," katanya dengan hati-hati. "Tidak ada yang bisa memprediksi itu.

Kata Kunci:

• Large Language Model (LLM)
• LaMDA (Language Model for Dialogue Applications)
• Recurrent Neural Networks (RNN)
• BigScience Large Open-science Open-access Multilingual Language Model (BLOOM)
• RETRO (Retrieval-Enhanced Transformer)
• ChatGPT (Chat Generative Pre-trained Transformer)