Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

2024/01/04

隨著科技發展，企業與客戶的互動日益頻繁，提供良好的客戶服務變得至關重要。傳統的客服方式往往需要人工處理，不僅成本高，也難以快速應對大量的客戶需求；近年來，隨著人工智慧（AI）技術的發展，機器人客服逐漸成為一種新的趨勢。

機器人客服可以 24 小時不間斷地提供服務，並根據客戶的需求進行學習和調整，提高服務的質量和效率。在本專欄中，我們將介紹如何使用 Google Cloud Platform（GCP）的 Vertex 語言模型與 Workbench 建立一個小客服。

甚麼是 Vertex 呢？

Vertex 語言模型是一種大型語言模型，可以生成文字、翻譯語言、編寫不同類型的創意內容，並以信息豐富的方式回答您的問題。Workbench 是一個可視化的 notebook 環境，可以讓您輕鬆地使用 GCP 的各種服務和工具。

在本專欄中，我們將透過簡單的通訊錄與GCP AI模型做互動，結合 GCP Vertex AI語言模型以及Workbench建立notebook完成佈署實作小客服，而在文末也會說明關於GCP所使用的語言模型 PaLM2 以及在模型中所可以調整的參數值分別作用為何。

希望本專欄能幫助您快速上手GCP AI 服務，為您的服務開創無限可能！

本次實作步驟如下：

【一】使用Vertex AI左側點選Workbench並建立新的執行個體

【二】使用Vertex AI語言模組提取python程式

【三】將Vertex AI語言程式碼鍵入notebook中並微調

【四】測試成果

【五】實作完成後的聊聊天

【一】使用Vertex AI左側點選Workbench並建立新的執行個體

- 登入GCP->搜尋Vertex AI-> 點選Vertex AI

點選Vertex AI

- GCP->Vertex->Workbench->建立notebook

建立notebook

- 開啟 JUPYTERLAB

開啟 JUPYTERLAB

- 開啟 Terminal

開啟 Terminal

Terminal 預設為白底黑字，可點選設定改成熟悉的黑底白字。

Settings -> Terminal Theme -> Dark

Dark

Dark Terminal

【二】於Vertex AI語言模組提取 python 程式

- Vertex AI -> 語言 -> 文字即時通訊

文字即時通訊

- 點選進入情境 -> 點選右上方的查看程式碼

查看程式碼

- 程式碼如下，複製以下程式碼準備接貼進我們剛剛所創建的 notebook 中

程式碼

【三】將Vertex AI語言程式碼鍵入notebook中並微調

- vi lab.py #新增一個名為 lab 的 python 檔案

vi lab.py

- 將程式碼貼入 lab.py 檔案中

程式碼貼入lab.py

- 修改程式提示以及回應變數

原程式碼：

原程式碼

調整後：

調整後1

調整後2

【四】測試成果

- 使用 python3 執行檔案測試問與答

測試成果

【五】實作完成後的聊聊天

透過以上範例，我們發現件有趣的事情：它所回覆的蔡依林資訊並非我們所給予的資料，其實是Google AI的PaLM2 大型語言模型，PaLM 2 模型提供多種尺寸應用於不同使用情境等。

從官方給予的說明為，由小到大分別是 Gecko -> Otter -> Bison -> Unicorn

由小到大分別

而實作面您會在 Vertex AI 語言模型中，可以選取相關模型名稱判斷攜帶級距。

前面的實作中我們這次所使用的模型為 code-bison@001

所使用的模型

選取完模型後，您會發現在相同位置處，有多個參數可調整：

參數可調整

Temperature：是控制生成的文本的創意程度的一個參數。值越高，生成的文本就越有創意。因此若您希望您的 Vertex AI 回覆得更有創意，可以將溫度值調高。

但是，您需要注意，溫度值越高，生成的文本就越有可能出錯。因此，您需要根據需要調整最適切的溫度值。

以下是一些使用溫度值來控制生成文本創意程度的示例：

溫度值為 0：生成的文本將非常保守，並且不會有任何創意。

溫度值為 0.5：生成的文本將有一定的創意，但仍然很有可能是正確的。

溫度值為 0.8：生成的文本將非常有創意，但也有可能出錯。

Token limit：控制生成文本長度的一個參數。值越高，生成的文字就越長。

具體來說，token 是指文本中的一個字母、數字或符號。例如，單詞 "hello" 由 5 個 token 組成："h"、"e"、"l"、"l" 和 "o"。

因此，token limit 值表示生成文本的最大 token 數量。例如，token limit 值為 1024 表示生成的文本最多可以包含 1024 個 token。當 token limit 值達到時，Vertex AI 將停止生成。

Top K 是指生成文字時要考慮的候選詞彙數量。例如，Top K 值為 40 表示生成文字時將考慮 40 個候選詞彙。Vertex AI 將從候選詞彙中選擇概率最高的字詞作為下一個字詞。當 Top K 值達到時，Vertex AI 將停止生成文字。

Top P 是指生成文字時要考慮的候選詞彙機率的下限。例如，Top P 值為 0.8 表示生成文字時將只考慮機率至少為 0.8 的候選詞彙。Vertex AI 將從候選詞彙中選擇機率最高的字詞作為下一個字詞，只要該字詞的機率至少為 0.8。當 Top P 值達到時，Vertex AI 將停止生成文字。

值得注意的是，Top K 和 Top P 都是控制生成文字多樣性的參數，但它們有不同的方法來實現這一點。具體差異如下：

Top K 的值越高，生成的文字就越多樣化，但也越有可能出錯；

Top P 的值越高，生成的文字就越準確，但也越有可能不夠有創意。

綜上所述，您可以透過實作來找到最適合您需求的參數值，Google Cloud 提供多種基礎語言模型供大家使用，大家一起客製化專屬於您的 AI 幫手！

產業訊息

Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

其他訊息

MDR是什麼？企業需要MDR資安保護嗎？3分鐘看其原理與好處！

為什麼你的企業需要 Azure OpenAI：讓 AI 讀懂你公司的資料，還能變成專屬小助理

採用人工智慧克服銀行業的挑戰

多雲時代來臨，Azure Arc 引領企業輕鬆掌握多雲網路管理之道

從配置漏洞到數據洩露：一則 Terraform 安全案例剖析

告別安全與速度的兩難！阿里雲 ESA 邊緣安全加速，一站式全託管，安全防護，兼顧加速

雲端自動擴展的隱患：配置錯誤將引爆成本危機？

雲端日誌防線重要磐石，別讓黑箱成為防禦漏洞！

IAM 權限設定不當造成離職員工帳號被濫用

SOC結合SOAR好嗎？ SOC安全營運中心用途與結合SOAR優點一次知！

如何查詢網址安全？專家推薦這4招，教你免費檢測網頁安全性！

IT外包費用很貴嗎？一篇搞懂IT外包5個優點和費用如何評估！

多雲管理雲端是什麼？企業多雲資安管理的5大解決方案一次看！

雲地混合是什麼？3分鐘看公有雲、私有雲及混合雲優缺點比較！

ISO 27001是什麼？企業需要導入嗎？一篇瞭解資訊管理系統的優缺點！

雲端託管好嗎？雲端託管6大優點和挑選重點懶人包！

API 金鑰洩露引發大規模虛擬機創建事件

虛擬機登入憑證設定不當駭客侵入成為虛擬幣礦場

採用人工智慧克服銀行業的挑戰

雲端遷移策略企業數位轉型關鍵

從遊戲產業到數位平台：BigQuery 如何突破海量數據挑戰

社交工程是什麼？被攻擊該如何防範？5大資安攻擊和防範手法一次知！

企業需要用到CDN嗎？3分鐘快速瞭解CDN架構、用途和優點！

AWS是什麼？AWS雲端服務類型、優勢和使用方式一次瞭解！

DevOps和SRE差在哪？DevOps的4大優勢和相關服務推薦一次看！

如何做好雲端安全防護？推薦這6大雲端資安健診方法一次看！

IDC是什麼？我適合用嗎？挑選IDC機房3個重點和注意事項一次懂！

全新登場！阿里雲 CAPTCHA 服務，給您頂級安全防護與用戶體驗

什麼是DDoS攻擊？一次教你如何做好DDoS防護，保護你的網站！

如何提升網站效能優化？推薦5個改善網站速度的方法一次看！

雲端遷移成功關鍵因素

SOC它到底是什麼?它對資安有什麼作用?對於SOC資訊安全監控的功能與優勢有哪些?

精準運維，一站監控：探索騰訊雲可觀測平台的強大功能

Page Speed網頁速度如何加快？四種方法教你如何改善網站速度！

雲力橘子 2024 首發 Hacker Talk 論壇， 破解資安求職與無人機資安盲點

如何定義開源軟體＆套件？3分鐘快速搞懂第三方套件的授權模式！

雜貨店也能數位轉型？食品零售商如何透過公有雲優化商務呢

騰訊雲CCN雲聯網 手把手配置 高效穩定企業跨境全球互聯

【2024最新】公司企業的3款最佳Devops工具，成功案例一次看！

使用CDN安全嗎？CDN如何達到基本防護功能呢?

我用的APP安全嗎？會被竊個資嗎？3分鐘快速檢查手機APP資安！

如何確保做好企業資訊安全？這4大DDoS防護方法，推薦學起來！

發現手機被追蹤怎麼辦？注意 這十大被駭徵兆，手機資安恐不 保！

如何加快網站速度?影響網速的要件及升級指南

Vertex AI 和 Workbench 語言模組實戰，打造有人性的客服小幫手

我的 AWS實例啟用失敗，應該怎麼做？

雲力橘子 2023 最終場駭客論壇，探討網站風險、原碼檢測盲點與 Crypto 黑暗面

DDOS流量清洗是什麼？可以阻擋攻擊嗎？DDOS防禦方法一次看！

Devops是什麼？推薦企業一次看懂Devops定義、流程及優缺點！

如何做好資安防護？3個APP資安檢測工具、費用及功能一次看！

CDN廠商怎麼選？中華電信CDN、Cloudflare及Multi CDN大評比！

如何檢測iOS、Android手機資安？4招檢測方法預防詐騙＆駭客！

Google Cloud 引領潮流，擴大企業級生成式 AI的應用範疇，開創無限可能！

雲力橘子邀請專家獻策，破解惡意後門與車載資安盲點

企業為什麼要上雲？用途為何？盤點上雲5大優勢和費用解析！

可自建CDN嗎？和供應商差在哪？兩者優缺點和供應商挑選一次懂！

優化數據處理體驗：探索騰訊雲 EdgeOne 邊緣計算新境界

我該如何選擇最適合 AWS EC2 實例?

企業如何挑選合適的雲端服務？公有雲、私有雲差異比較總整理

技術專欄_運用AWS Network Firewall控制 Workspaces

弱點掃描工具有哪些？5款免費、付費弱點掃描工具優缺點分析！

如何設定網站CDN？推薦公司企業使用CDN加速的4大原因！

如何應對邊緣節點的網路攻擊？在 CDN 邊緣節點建立防護系統！

如何測試網站安全？OWASP工具測試弱點掃描的功能服務解析！

如何防禦DDoS攻擊？推薦這4大DDoS防護方法，避免網站被駭！

Google Cloud 初學者指南：我該將服務運行在哪呢？

雲力橘子串聯執法機關、資安廠商與風險顧問引導企業降低遇駭危機

企業需要SOC資安監控嗎？如何評估？看懂SOC監控的5大功能！

Multi CDN是什麼？為什麼要融合CDN？其應用方法與原理一次知！

如何利用CDN內容傳遞網路讓網站加速？4大優勢與趨勢分析！

DDoS攻擊怎麼防禦？DDoS攻擊手法與資安供應商挑選一次搞懂！

為什麼網站速度慢？和網頁設計有關嗎？速度慢會造成什麼影響？

如何提升企業雲端防護力-Cloud Armor

雲力橘子 2023 首發論壇，揭示藍隊能力升級、 開發／資安磨合的奧妙心法

2021 OWASP Top 10 A09資安紀錄與監控失效

2021 OWASP Top 10 A10伺服器請求偽造

安全防護：Web Application Firewall 設定教學

雲力橘子 2024 首發 Hacker Talk 論壇，破解資安求職與無人機資安盲點

騰訊雲CCN雲聯網手把手配置高效穩定企業跨境全球互聯

發現手機被追蹤怎麼辦？注意這十大被駭徵兆，手機資安恐不保！

雲力橘子 2023 首發論壇，揭示藍隊能力升級、開發／資安磨合的奧妙心法

2022 雲力橘子 Hacker Talk 漂亮收尾，解構開發模式、弱點檢測之安全盲點

如何提升網站速度及效能？推薦先搞懂動態v.s靜態網站的差異！

從零基礎學破解的駭客工具 Magisk Root，看懂駭客攻擊如何操作！