一個轉眼今年已經到八月,但今年幾乎大家都在 AI,把時間軸拉回到 2023 年初,Google 在 2 月時發表了實驗性 AI 聊天機器人「Bard」,是說 Bard 才剛在上月擴大支援繁體中文等 40 種語言,本週三(8/16)很榮幸受到邀請,聽 Google 傑出科學家紀懷新博士,親自從三個面向解密 Bard
YouTube 推薦系統的靈魂人物
紀懷新來自 Google 美國總部的 DeepMind 團隊,帶領機器學習研究團隊,來進行大型語言模型、神經網路推薦系統、可靠性機器學習等相關的研究。博士也熱衷於高爾夫、游泳、攝影和滑雪,而且擁有跆拳道黑帶
大家點開 YouTube、Google 新聞看到的推薦內容,就是博士團隊們研究的成果。紀懷新著名的研究領域為「網路和線上社群系統對使用者行為的影響」,並擁有 39 項專利,且至今已發表了 200 多篇研究論文
為何 Google 2023 年才決定加入 AI 戰局?
博士表示,其實 Google 在 AI 領域的研究已經有超過 10 年的歷史,在 Google 智慧鏡頭、 Google Maps、Google Workplace、Google Pixel 都能看見 AI 技術的蹤影,像是魔術橡皮擦、即時翻譯、把地圖與 AR 結合等等
● 延伸閱讀:Google Maps 有 AI 來幫忙,新功能上線囉!台北與台中知名景點 即時看人潮與天氣
從 2013 年以來,研究團隊共替 Google 產品帶來超過 720 項改進,Google 的使命是匯整全球資訊,提供給大眾使用,讓人人都能受惠,而 Google 對「大型語言模型」的使命,除了同樣也希望能匯整全球語言資訊外,也希望能以自然的對話方式來呈現
從 2014 年 12 月開始,Google 就針對大型語言模型做了不少研究,並於 2021 年 5 月在 Google I/O 大會上,展示 LaMDA(Language Models for Dialogue Applications),是個應運「對話應用」而生的大型語言模型,裡面有高達 1,370 億個參數,會針對合理性、趣味性、安全性、真實性、工具整合,還有多點跳躍的對話來微調,並也替 Bard 奠定了一定程度的基礎
Bard 是如何學習並理解不同的語言?
Bard 在 2023 年 2 月首度推出,但在 4 月時,就已可做到 basic coding,5 月 Google 也在 I/O 宣布將 Bard 移到更大的大型語言模型 ─ PaLM 2 上,並持續強化 Bard 的運算表現和整合能力
訓練 Bard 大致可分成三個階段:
● 預訓練(Pre-Training)
● 微調(Fine-Tuning)
● 提示/提問(Prompting)
先讓 AI 有學習語言和基礎的能力後,接著再讓 AI 專精於特定任務上
博士很謙虛的比喻說,現在 Bard 的學習程度程度大概與國小差不多,已經有基本的語言能力了這樣(但小學生真的不太可能會編碼除非是天才),但還是無法保證 Bard 不會出錯,或是答出一些偏天馬行空的答案
不過確實目前 Bard 在互動上,還是會有比較不連貫和不廣泛的情形,有點類似去超商和店員對話的感覺,新的模式和方向,是希望 Bard 可以與用戶有更多互動、交換式的對話
● 延伸閱讀:Google 的 AI 聊天機器人 Bard 正式支援繁體中文!同步推出新功能讓它適合各種使用情境
對話式 AI 和大型語言模型 未來有哪些可能的突破與挑戰?
博士坦言,目前大型語言模型的發展,仍然處於早期階段,並有幾點已知的限制,棘手的問題大致有五項,分別為:
● 準確性:答案不一定正確
● 偏差:回答可能會呈現出偏見
● 人格化:可能會讓人以為它有個人意見或感受
● 偽陽性 or 偽陰性:可能會提供某些不適合的回應,或是故意調皮不回應
● 惡意提示的刻意攻擊:用戶總是會不斷找到對 Bard 進行壓力測試的方法
對此,目前 Google 的解法是增強 Bard 資訊檢索的能力,並充分運用外部知識,來即時產生合適的回應
至於被問到 Bard 能不能也和 Meta 一樣,新增支援臺語語音的功能,博士則表示自然語言學術研究中,數據的收集是比較困難的一環,就連 Google 要收集這類相關的數據,也必須要花時間合作交涉才可行,但未來不排除與相關學術機構合作!
很高興有這個珍貴的機會,能聽紀懷新博士親自聊聊 Bard,即使博士很謙虛的說,目前大型語言模型還是處在於非常早期階段,但未來大型語言模型仍有機會大幅改變我們與 AI 的互動方式,大家就拭目以待吧
電獺少女 LINE 官方帳號好友募集中!精選每日科技新聞和促咪事件,還有各類 App 的密技心得,就差你沒加!