LANGUAGE models have become a key factor when it comes to creating the most thorough and accurate artificial intelligence possible. The new model developed by Microsoft and Nvidia is said to feature about 530 billion parameters and to be capable of exceptional accuracy, especially in reading comprehension and complex sentence formation.
Nvidia and Microsoft's Megatron-Turing Natural Language Generation model (MT-NLG) marks a new record for a language model. According to the tech firms, their model is the most powerful to date.
Thanks to its 530 billion parameters, it is able to outperform OpenAI's GPT-3 as well as Google's BRET. Specialized in natural language, it is able to understand texts, reason and make deductions to form a complete and precise sentence.
Language models are built around a statistical approach. While many methods exist, it is the n-gram model that is being used here.
The learning phase enables analysis of a large quantity of texts to estimate the probabilities that a word will 'fit' correctly in a sentence.
The probability of a word sequence is the product of the probabilities of the words previously used. By using probabilities, we can create perfectly grammatical sentences.
Biased algorithms still an issue
With 530 billion parameters, the MT-NLP model is particularly sophisticated. In the field of machine learning, parameters are often defined as the unit of measurement for machine performance.
t has been repeatedly shown that models with a large number of parameters ultimately perform better, resulting in more accurate, nuanced language due to their large dataset.
These models are capable of summarizing books and texts and even writing poems.
To train MT-NLG, Microsoft and Nvidia created their own dataset of about 270 billion "tokens" from English-language websites.
In natural language, "tokens" are used to break up text into smaller chunks to better distribute information.
The websites included academic sources such as Arxiv, Pubmed, educational websites such as Wikipedia or Github as well as news articles and even messages on social networks.
As always with language models, the main problem with widespread, public use is bias in the algorithms.
The data used to train machine learning algorithms contain human stereotypes embedded in the texts.
Gender, racial, physical and religious biases are widely present in these models. And it is particularly difficult to remove these problems.
For Microsoft and Nvidia, this is one of the main challenges with such a model. Both companies say that the use of MT-NLG "must ensure that proper measures are put in place to mitigate and minimize potential harm to users."
Before fully benefiting from these revolutionary models, this issue needs to be tackled, and for the moment it seems far from resolved.
ETX Studio
Wed Oct 13 2021
Language patterns reach record highs, but questions remain. - ETX Studio
Pelajar tahfiz perlu teroka bidang teknologi
Kira-kira 200,000 pelajar tahfiz di negara ini, perlu dipastikan untuk mempunyai kemampuan dan peluang menjadi tenaga penggerak kepada umat Islam Malaysia dalam meneroka bidang yang dahulu dilihat sebagai asing., tegas Perdana Menteri Datuk Seri Anwar Ibrahim.
Perpaduan rakyat prasyarat ekonomi mampan
Tidak semua negara Islam mempunyai ruang dan kesempatan untuk terus aman dan damai, dan mempunyai peluang untuk menikmati ekonomi yang kukuh dan berkembang seperti Malaysia, tegas Perdana Menteri Datuk Seri Anwar Ibrahim.
Beliau berkata, rakyat Malaysia perlu mempunyai tekad untuk memahami maksud dan keperluan perpaduan di kalangan mereka, serta kekuatan dalaman yang seterusnya dapat dijadikan tonggak untuk negara membuat langkah seterusnya.
Beliau berkata, rakyat Malaysia perlu mempunyai tekad untuk memahami maksud dan keperluan perpaduan di kalangan mereka, serta kekuatan dalaman yang seterusnya dapat dijadikan tonggak untuk negara membuat langkah seterusnya.
Tidak perlu tergesa-gesa tukar ke lesen B - JPJ
Pemegang Lesen Memandu Malaysia (LMM) Kelas B2 dan B1 tidak perlu tergesa-gesa mendaftar Program Khas Peralihan LLM Kelas B2/B1 Kepada LMM Kelas B kerana tiada had masa ditetapkan untuk permohonan.
KPWKM teruskan lapan inisiatif bantu warga emas
Kementerian Pembangunan Wanita, Keluarga dan Masyarakat (KPWKM) akan terus menggerakkan lapan inisiatif utama dalam memenuhi keperluan jagaan dan sistem sokongan terhadap warga emas.
Warga emas maut ditikam anak kandung yang berhalusinasi
Seorang pesara guru maut ditikam anak kandungnya sendiri di sebuah rumah dekat Kampung Senaling, di sini, petang Sabtu.
Menurut Ketua Polis Daerah Kuala Pilah, Superintendan Amran Mohd Ghani, siasatan awal mendapati warga emas berusia 65 tahun itu cuba memujuk anak lelakinya yang juga pemegang kad orang kurang upaya (OKU) mental yang dikatakan mahu membunuh diri.
Menurut Ketua Polis Daerah Kuala Pilah, Superintendan Amran Mohd Ghani, siasatan awal mendapati warga emas berusia 65 tahun itu cuba memujuk anak lelakinya yang juga pemegang kad orang kurang upaya (OKU) mental yang dikatakan mahu membunuh diri.
Berita tempatan pilihan sepanjang hari ini
Berikut adalah berita yang paling menjadi tumpuan sepanjang Sabtu, 5 Oktober 2024.
Berita antarabangsa pilihan sepanjang hari ini
Antara pelbagai berita luar negara yang disiarkan di Astro AWANI, berikut adalah yang paling menjadi tumpuan sepanjang hari ini.
Hezbollah lancar serangan peluru berpandu ke atas kompleks industri ketenteraan di utara Israel
Pergerakan Hezbollah di Lubnan berkata mereka telah melancarkan serangan peluru berpandu ke atas kemudahan ATA Defence Industries.
Tiada kaitan dengan pelantikan CEO MDEC, Anuar Fariz bukan adik saya - Fahmi
Menteri Komunikasi Fahmi Fadzil menyangkal dakwaan Ketua Pegawai Eksekutif (CEO) baharu Perbadanan Ekonomi Digital Malaysia (MDEC) Anuar Fariz Fadzil merupakan adiknya.
Israel lakukan persiapan untuk serang Iran - Laporan
Tentera Israel sedang bersiap untuk "tindakan balas besar-besaran dan ekstrem" terhadap Iran.
Kerjasama Malaysia-Negara ASEAN kekalkan aliran bakat berkemahiran tinggi - Sim
Kerjasama antara Malaysia dengan negara-negara ASEAN penting untuk menarik, membangunkan dan mengekalkan aliran bakat berkemahiran tinggi, dinamik dan pelbagai, kata Menteri Sumber Manusia Steven Sim.
Apple, NVIDIA dilapor ingin melabur dalam OpenAI
Ini akan membuatkan pelbagai syarikat terkemuka teknologi kini bersaing dalam mendapatkan pegangan masing-masing pada OpenAI.
OpenAI dalam perbincangan dengan Broadcom untuk bina cip AI
Mereka kini dalam proses membina cip AI sendiri bagi mengurangkan kos membeli perkakasan daripada pihak ketika seperti NVIDIA.
Softbank ambil alih pembangun cip Graphcore
Dengan adanya Softbank, masalah dana mungkin selesai dan membolehkan Graphcore bergerak ke fasa seterusnya.
Microsoft kembali atasi Apple, NVIDIA sebagai syarikat paling bernilai di dunia
Microsoft berada di kedudukan teratas dengan nilai pasaran $3.343 trilion (RM 15.75 trilion), dengan Apple di tangga kedua dengan nilai $3.191 trilion, dan NVIDIA pula dengan nilai $3.113 trilion.
NVIDIA atasi Microsoft sebagai syarikat paling bernilai
NVIDIA, Microsoft dan Apple kekal sebagai syarikat yang mempunyai nilai pasaran melebihi $3 trilion.
Nilai pasaran Nvidia cecah AS$3 trilion
Nilai pasaran Nvidia melonjak ke paras tertinggi, mencecah $3 trilion pada Rabu.
NVIDIA dijangka atasi Apple sebagai syarikat kedua paling bernilai di dunia
Dengan permintaan pembangunan kecerdasan buatan tinggi, ia sekali gus membuatkan nilai syarikat NVIDIA turut meningkat mendadak kebelakangan ini.
Google, Microsoft dan Intel tubuh UALink bangunkan piawaian terbuka penyambung pemecut cip AI
Dengan penglibatan syarikat-syarikat teknologi utama untuk menggunakan UALink, setiap ahli boleh menyumbang kepakaran mereka untuk faedah bersama.
NVIDIA pegang lebih 90% pasaran GPU untuk pusat data
Pada pusat pangkalan data sahaja, pendapatan $22.6 bilion telah dicatatkan dibantu oleh ledakan permintaan tinggi untuk kecerdasan buatan (AI).