CHATGPT'S creator OpenAI plans to invest significant resources and create a new research team that will seek to ensure its artificial intelligence remains safe for humans - eventually using AI to supervise itself, it said on Wednesday.
"The vast power of superintelligence could ... lead to the disempowerment of humanity or even human extinction," OpenAI co-founder Ilya Sutskever and head of alignment Jan Leike wrote in a blog post. "Currently, we don't have a solution for steering or controlling a potentially superintelligent AI, and preventing it from going rogue."
Superintelligent AI - systems more intelligent than humans - could arrive this decade, the blog post's authors predicted. Humans will need better techniques than currently available to be able to control the superintelligent AI, hence the need for breakthroughs in so-called "alignment research," which focuses on ensuring AI remains beneficial to humans, according to the authors.
OpenAI, backed by Microsoft, is dedicating 20% of the compute power it has secured over the next four years to solving this problem, they wrote. In addition, the company is forming a new team that will organize around this effort, called the Superalignment team.
The team's goal is to create a "human-level" AI alignment researcher, and then scale it through vast amounts of compute power. OpenAI says that means they will train AI systems using human feedback, train AI systems to assistant human evaluation, and then finally train AI systems to actually do the alignment research.
AI safety advocate Connor Leahy said the plan was fundamentally flawed because the initial human-level AI could run amok and wreak havoc before it could be compelled to solve AI safety problems.
"You have to solve alignment before you build human-level intelligence, otherwise by default you won't control it," he said in an interview. "I personally do not think this is a particularly good or safe plan."
The potential dangers of AI have been top of mind for both AI researchers and the general public. In April, a group of AI industry leaders and experts signed an open letter calling for a six-month pause in developing systems more powerful than OpenAI's GPT-4, citing potential risks to society. A May Reuters/Ipsos poll found that more than two-thirds of Americans are concerned about the possible negative effects of AI and 61% believe it could threaten civilization.
Reuters
Sat Jul 08 2023
The vast power of superintelligence could lead to the disempowerment of humanity or even human extinction, OpenAI co-founder Ilya Sutskever and head of alignment Jan Leike wrote in a blog post. - REUTERS
AWANI Ringkas: GISB Holdings | Kes tembakan di Song | PR1MA
Ikuti rangkuman berita utama yang menjadi tumpuan sepanjang hari di Astro AWANI menerusi AWANI Ringkas.
Lelaki rugi RM224,000 terperdaya skim pelaburan tidak wujud
Seorang lelaki warga tempatan berputih mata apabila kerugian RM224,000 setelah terperdaya dengan skim pelaburan tidak wujud yang diiklankan menerusi aplikasi Whastapp.
#AWANIRingkas 5 Oktober 2024 | 9 PM
Berikut merupakan rangkuman berita setakat 9 malam, 5 Oktober 2024
1️⃣ Siasatan membabitkan 10 peruntukan undang-undang
2️⃣ KDN sahkan seorang anggota polis terlibat
3️⃣ Projek sakit dijangka siap menjelang hujung 2024
#awaniringkas
1️⃣ Siasatan membabitkan 10 peruntukan undang-undang
2️⃣ KDN sahkan seorang anggota polis terlibat
3️⃣ Projek sakit dijangka siap menjelang hujung 2024
#awaniringkas
Serangan gajah: Perhilitan terus pantau Kampung Basung
Perhilitan Terengganu akan meneruskan pemantauan di Kampung Basung di Kuala Berang bagi mengesan gajah liar yang menyebabkan kematian warga emas hari ini.
Ekonomi penjagaan berpotensi hasil pendapatan baharu untuk negeri - Saarani
Kerajaan Perak melihat potensi ekonomi penjagaan sebagai satu daripada pendapatan baharu yang berdaya maju untuk negeri itu, kata Menteri Besar Datuk Seri Saarani Mohamad.
Polis tahan pegawai tentera kerana cabul kakitangan bawahan
Seorang pegawai tentera ditahan kerana disyaki mencabul kakitangan bawahannya sebanyak beberapa kali di sebuah premis kerajaan di Kok Lanas, Kota Bharu.
ATM lakukan siasatan penuh insiden di Wisma Transit
Angkatan Tentera Malaysia (ATM) melakukan siasatan penuh berkenaan insiden kekecohan yang berlaku di Wisma Transit, Kuala Lumpur membabitkan warga Palestin baru-baru ini.
JKNK akan dapatkan bantuan negeri lain jika berlaku banjir luar jangka
Jabatan Kesihatan Negeri Kelantan (JKNK) akan mendapatkan bantuan khidmat petugas Kementerian Kesihatan (KKM) dari negeri lain sekiranya mengalami banjir luar jangka tahun ini.
PR1MA: Projek sakit dijangka siap menjelang hujung tahun ini
Kementerian Perumahan dan Kerajaan Tempatan (KPKT) memberi jaminan projek Perumahan Rakyat 1Malaysia (PR1MA) yang dikategorikan sebagai ‘projek sakit’ atau bermasalah di seluruh negara akan disiapkan menjelang hujung tahun ini.
John Legend sifatkan Siti Nurhaliza, Yura Yunita penyanyi hebat, teruja ditemani di konsert
John Legend teruja dengan kehadiran Siti dan Yura, dan akan menyampaikan lagu-lagu hitnya seperti All of Me, Ordinary People, dan Tonight.
Google bawa lebih banyak AI ke enjin carian dalam kemas kini 'signifikan'
Google mengumumkan beberapa kemas kini berkuasa kecerdasan buatan (AI) pada enjin carian mereka, menyifatkannya sebagai "antara kemas kini Carian paling signifikan setakat ini".
ChatGPT kini mempunyai lebih 11 juta pengguna berbayar
Perkongsian angka ini sekali gus memperlihatkan secara kasar OpenAI menjana $2.7 bilion melalui ChatGPT setiap tahun.
OpenAI perkenal model o1 dengan kebolehan penaakulan, jawab soalan lebih kompleks
Model ini dilihat membawakan sokongan penaakulan atau kebolehan berfikir lebih baik berbanding model ChatGPT yang lain.
Microsoft label OpenAI sebagai pesaing dalam arena AI, enjin carian
Perkara ini dilihat selari pengumuman OpenAI dalam arena enjin carian melalui SearchGPT.
OpenAI umum lima tahap ke arah AGI, kini sudah di tahap dua
Tahap 1 ialah chatbot seperti ChatGPT. Tahap 2 pula ialah sistem yang boleh menyelesaikan masalah asas pada tahap setanding pemegang PhD.
Aplikasi ChatGPT untuk MacOS simpan perbualan tanpa sebarang penyulitan
Mengikut semakan pembangun, OpenAI didapati menyimpan pelbagai data perbualan dan pertanyaan dalam teks biasa, tanpa sebarang penyulitan.
Aplikasi ChatGPT ditawarkan untuk semua pengguna macOS
Dengan memasang aplikasi ChatGPT pada Mac, pengguna boleh lakukan akses pantas kepada ChatGPT dengan hanya tekan kekunci Option-Space.
Meta tangguh pelancaran perisian kecerdasan buatan di Eropah
Gergasi media sosial Meta menangguhkan pelancaran perisian kecerdasan buatan (AI) terbarunya di Eropah berikutan kebimbangan daripada agensi perlindungan data.
OpenAI tidak dibayar Apple sebaliknya akan lakukan perkongsian pendapatan
Ramai yang tertanya-tanya apakah bayaran yang diterima oleh
Apple integrasikan ChatGPT pada iOS, iPadOS dan macOS secara percuma
ChatGPT ditawarkan secara percuma melalui penawaran Applen ini, di mana pengguna tidak perlu melakukan sebarang pendaftaran akaun atau langganan.