“Cha đẻ” của thuật toán mà cả Google và ChatGPT dựa vào để phát triển là ai?
Anh Lê Viết Quốc sinh năm 1982 tại một ngôi làng nhỏ ở Hương Thủy (tỉnh Thừa Thiên-Huế), khu vực mà Quốc sinh sống từng không có điện, nhưng anh thường xuyên đến một thư viện gần nhà để nghiên cứu về phát minh thông qua những trang sách và ôm giấc mơ một ngày nào đó sẽ có những phát minh của riêng mình.
Sau khi tốt nghiệp trường chuyên Quốc học Huế, anh Quốc tiếp tục theo học tại Đại học Quốc gia Australia (Úc) và sau đó làm nghiên cứu sinh Tiến sĩ tại Đại học Stanford (Mỹ) về trí tuệ nhân tạo.
Năm 2011, Quốc đồng sáng lập Google Brain, cùng với cố vấn Tiến sĩ Andrew Ng, nghiên cứu sinh Google Jeff Dean và nhà nghiên cứu tại Google Greg Corrado. Mục tiêu là khai phá về Học sâu (Deep Learning) trên cơ sở khối lượng dữ liệu khổng lồ của Google. Trước đó, Quốc đã thực hiện một vài nghiên cứu ở Đại học Stanford về Học sâu không giám sát (Unsupervised Deep learning).
Deep Learning là một thuật toán dựa trên một số ý tưởng từ não bộ tới việc tiếp thu nhiều tầng biểu đạt, cả cụ thể lẫn trừu tượng, qua đó làm rõ nghĩa của các loại dữ liệu. Deep Learning có thể giúp giải quyết hàng loạt vấn đề như giáo dục, biến đổi khí hậu...
Ví dụ, sử dụng các cảm biến từ xa, dữ liệu môi trường trên thế giới sẽ được theo dõi và ghi lại. Hiện khối lượng dữ liệu đó phần lớn chưa được xử lý và Deep Learning có thể được áp dụng để hiểu các chuỗi và chỉ ra hướng giải quyết.
Sau khi tốt nghiệp vào năm 2013, Quốc chính thức gia nhập Google với tư cách một nhà nghiên cứu. Anh sớm đạt được những đột phá ấn tượng trong lĩnh vực dịch máy (Machine Translation), một trong những lĩnh vực nghiên cứu năng động nhất trong cộng đồng học máy (Machine Learning).
Để đạt được các thành tựu đó, Quốc phải vượt lên những phương pháp học sâu đã hiệu quả với hình ảnh và lời nói – thứ có thể phân tích được với các đầu vào có kích thước cố định.
Vào năm 2014, Quốc đề xuất trình tự chuỗi (Seq2seq) học với nhà nghiên cứu Google Ilya Sutskever và Oriol Vinyals. Nó là một khung công cụ - một thư viện các mã lệnh (framework) giải mã bộ mã hóa có mục đích đào tạo các mô hình để chuyển đổi các chuỗi từ một tên miền này sang miền khác, chẳng hạn như chuyển đổi các câu sang các ngôn ngữ khác nhau.
Seq2seq learning đòi hỏi ít sự lựa chọn trong thiết kế kỹ thuật hơn và cho phép hệ thống dịch của Google hoạt động hiệu quả và chính xác trên các tệp dữ liệu khổng lồ. Nó chủ yếu được sử dụng cho các hệ thống dịch máy và được chứng minh là có thể ứng dụng được ở nhiều mảng hơn, bao gồm tóm tắt văn bản, các cuộc hội thoại với trí tuệ nhân tạo, và trả lời câu hỏi.
Vì sao CEO Nguyễn Tử Quảng lại nói thành công của ChatGPT là nhờ Lê Viết Quốc?
Theo bài đăng mới nhất của CEO Nguyễn Tử Quảng, ông cho biết chính thuật toán seq2seq của anh Quốc đã góp phần giúp Google tạo ra Transformer. Thuật toán này hiện đang được cả Google và ChatGPT sử dụng.
Transformer là một thuật toán được Google Brain, đơn vị nghiên cứu chuyên sâu về AI của Google, phát minh vào tháng 8/2017.
Thuật toán Transformer đột phá về khía cạnh huấn luyện AI ngôn ngữ. Trước khi có thuật toán này, con người muốn dạy AI, thì phải tạo tập dữ liệu huấn luyện sẵn theo cặp câu hỏi-trả lời (labeling data). AI sẽ chỉ ghi nhớ cặp câu có sẵn mà không hiểu được ý nghĩa của câu văn đó, khác nhau rất lớn giữa học vẹt và học hiểu.
Trích nguyên văn trong tài liệu công bố về Transformer của Google như sau: "With transformers, computers can see the same patterns humans see" (Với transfomer, máy tính có thể nhìn thấy những thứ giống như con người nhìn thấy).
Google đã hào phóng công bố tài liệu chi tiết về thuật toán Transformer công khai cho tất cả mọi người truy cập được. Đồng thời cung cấp quyền sử dụng mở (Open-Source) đối với thuật toán này.
Từ đó, toàn bộ giới khoa học làm AI được hưởng lợi từ phát minh của Google. Trong đó có OpenAI, một công ty thành lập năm 2015 và không có thành tựu gì nổi bật cho tới sau 2017.
Sau khi Google công bố Transformer, chỉ sau vài tháng những AI ngôn ngữ đầu tiên dựa trên thuật toán mới này ồ ạt ra đời. Tháng 1/2018 thì OpenAI cho ra đời con AI đầu tiên dựa trên Transformer là GPT-1, họ ứng dụng rất nhanh, nhanh hơn cả chính Google.
GPT viết tắt của Generative Pre-trained Transformer nghĩa là "chương trình Tạo Chữ đã được huấn luyện theo phương pháp Transformer"
ChatGPT này được tạo ra với mục đích chính là để "Tạo Chữ". Cụ thể là bạn sẽ chơi trò nối từ với AI, bạn viết một câu, chatbot sẽ đọc câu đó rồi dựa trên kiến thức đang lưu trữ trong bộ nhớ mà "tạo ra chữ" nối tiếp cái câu mà bạn viết.