ChartGPT Aplikasi Kecerdasan Buatan

OpenAI belum mengkonfirmasi biaya ChatGPT tetapi menurut perkiraan pasti menghabiskan biaya lebih dari $4 juta hanya untuk pra-pelatihan GPT-3 (pendahulu ChatGPT). ChatGPT kemungkinan menghabiskan biaya OpenAI jutaan dolar untuk dijalankan berdasarkan jumlah permintaan yang sekarang ditangani oleh chatbot gratis. "Kami sudah mendalami sistem ini," kata Bubeck. Hanya ada beberapa perusahaan yang memiliki model dengan lebih dari 100 miliar parameter.

Berkat pendanaan publik, lapangan bermain sebagian berkembang: Pada Juni 2022, tim internasional yang terdiri dari sekitar 1.000 peneliti sukarela, dengan dukungan keuangan dari pemerintah Prancis, perusahaan AI AS bernama Hugging Face dan lainnya, melatih model yang disebut BLOOM dengan sekitar 175 miliar parameter , untuk apa 7 juta dolar waktu komputasi dikeluarkan . 

Dan pada bulan November, Departemen Energi AS memberikan waktu komputasi untuk sebuah proyek oleh Irina Rish dan rekan-rekannya. Anda ingin membuat model untuk mempelajari perilaku LLM/Large Language Model . "Kami berharap dapat melatih model mirip chinchilla dengan 70 miliar parameter - belum tentu yang terbesar, tetapi yang memiliki skala kinerja paling efektif," kata Rish.

Terlepas dari siapa yang membangunnya, LLM/Large Language Model    menimbulkan kekhawatiran tentang konsumsi daya. Google, misalnya, telah melaporkan   pelatihan PaLM memakan waktu sekitar 3,4 giga watt jam selama sekitar dua bulan. Ini sesuai dengan konsumsi listrik tahunan sekitar 300 rumah tangga AS. Google melatih PaLM di pusat data Oklahoma, yang dikatakan didukung oleh 89 persen energi netral karbon, sebagian besar dari tenaga angin dan sumber terbarukan lainnya . Namun, survei industri menunjukkan   sebagian besar model AI dilatih tentang listrik, yang sebagian besar masih berasal dari sumber fosil.

Chollet khawatir   semakin banyak perusahaan sekarang melatih dan menggunakan model yang lebih besar, sehingga mengkonsumsi lebih banyak listrik: "Setiap perusahaan teknologi besar sekarang akan mencoba menggunakan LLM (Large Language Model) dalam produk mereka, terlepas dari apakah itu ide yang bagus atau tidak."

Oleh karena itu, bagi banyak ilmuwan, ada kebutuhan mendesak untuk mengurangi konsumsi energi LLM/Large Language Model - untuk membuat jaringan saraf lebih kecil dan lebih efisien dan mungkin   lebih pintar. Selain biaya energi pelatihan LLM (yang signifikan, tetapi hanya satu kali), kebutuhan energi inferensi -- di mana LLM menjawab pertanyaan  dapat meroket sebagai jumlah pengguna meningkat. 

Perusahaan teknologi besar belum mengomentari biaya penggunaan model mereka. Memeluk Wajah, misalnya, telah diungkapkan,   model BLOOM-nya, yang diterapkan selama 18 hari di Google Cloud Platform, menanggapi 230.768 kueri selama waktu tersebut (jauh lebih sedikit daripada ChatGPT, yang mencapai 100 juta pengguna aktif bulanan pada Februari 2023), mengonsumsi rata-rata 1.664 watt.  Istilah BigScience Large Open-science Open-access Multilingual Language Model (BLOOM).

Sebagai perbandingan, otak kita jauh lebih rumit dan lebih besar daripada LLM mana pun, dengan 86 miliar neuron dan sekitar 100 triliun koneksi sinaptik. Namun hanya mengkonsumsi antara 20 dan 50 wattl. Oleh karena itu, beberapa peneliti berharap   meniru aspek otak akan membantu LLM dan jaringan saraf lainnya menjadi lebih kecil, lebih pintar, dan lebih efisien.

Salah satu sumber efisiensi otak bisa disebut hubungan berulang atau umpan balik. LLM /Large Language Model pada dasarnya adalah jaringan umpan maju. Oleh karena itu, informasi hanya mengalir dalam satu arah: dari input melalui lapisan LLM ke output. Otak terhubung secara berbeda. Dalam sistem visual manusia, misalnya, neuron menghubungkan bagian otak yang pertama kali menerima informasi visual ke bagian yang lebih jauh ke belakang. Tetapi ada   koneksi umpan balik yang memungkinkan informasi ditransmisikan antar neuron dengan arah yang berlawanan. 

"Mungkin ada sepuluh kali lebih banyak koneksi umpan balik daripada koneksi maju dalam sistem visual,", di sisi lain, tidak memiliki koneksi umpan balik.

Jaringan saraf tiruan yang berisi koneksi umpan maju dan umpan balik biasanya disebut sebagai jaringan saraf berulang (RNN) atau Recurrent Neural Networks (RNN). Jaringan seperti itu, tidak seperti LLM feedforward, dapat mengenali pola dalam data yang berubah seiring waktu. Ini adalah "dasar bagaimana semua kecerdasan alami mengalami dan mempelajari dunia. Tapi RNN   punya jebakan, kata Rajan. Misalnya, mereka berat dan lambat untuk dilatih, membuatnya sulit untuk disesuaikan dengan ukuran LLM/Large Language Model  saat ini.