---
tags: 公民參與
---

# LLM + 公眾討論

跳坑: paul, Ronny, chewei

:::warning
功能目錄
[TOC]
:::

## 2024 倡議：擴大 JOIN 公共政策網路參與平臺可支援的數位參與功能模組

https://docs.google.com/document/d/1ztUixYlI2ivOpwSXcshIKDhrEjfuqcJbvD02ZgKaoKg/edit

## 您好，我是 AI 桌長，幫您 ORID 一下

- 使用者盡情發言
- 發言後，點選「請 AI 桌長幫我產生 ORID」
- 依照 ORID (客觀事實Objective、感受反應Reflective、詮釋意義Interpretive、做出決定Decisional)，將留言內容分類。
- ORID: https://flipedu.parenting.com.tw/article/008274
- 取得 ORID 分類結果後，將案件爭點結構視覺化
- 預計評估使用既有的開源工具 https://g0v.hackmd.io/@chewei/joinplus/https%3A%2F%2Fg0v.hackmd.io%2FUHY2JpBRSVyVh-7OQSpGyg%3Fview
- 評估上述功能導入「進行中的案件」，可理解為「JOIN 平台 24 小時 AI 桌長」進駐 JOIN 平台
- 可即時將使用者的意見表達，納入總體意見分群視覺化成果中
- 類似工具如 Polis https://polis.tw/
- 其他參考：
- https://edge.aif.tw/aicafe-0628-emotion-recognition/

## 研判是否為情緒發言
- 針對「留言」，藉由 LLM 進行語意分析與留言分類。

https://poe.com/moderator-bot-gpt4

:::spoiler 測試成果

:::

## Talk to the City

文章：眾議式民主新可能？除了區隔衝突，「Pol.is 2.0」透過 AI 收斂論述，找出群眾共識
https://www.readr.tw/post/2957

使用 Talk to the City by Ronny
- 說明：Join 平台上面婚姻平權主題，有一萬多則留言，抓了其中 500 則用 Talk to the city 來產生報告
- 成果網址：https://ronnywang.github.io/tttc-join-test/report3/
- 相關討論與共筆：https://g0v.hackmd.io/@Pno233SAS8G5UfL5OvSRmA/SykwHbGQT

Amplifying Voices: Talk to the City in Taiwan
- https://ai-assembly.tw/
- https://www.facebook.com/permalink.php?story_fbid=pfbid02t683jJh12pGAapyDyT2fa2jgTFZH8pq28KEdNogdaWdvMcGXTisfLviMzAaVAnJJl&id=100005959082408

日文
- https://www.facebook.com/share/p/ddHnJ7Bm14vctWoT/

## 民眾意見分群分類

### 留言 Sample
- https://docs.google.com/spreadsheets/d/15bMTfdpopwFsEsh4HZ5MiaNd0h69uV-C9HRdgl7RH8E/edit#gid=889184547
- 實際來源
- 來附議-政治獻金附議留言
- 網址：
- 眾開講-政策討論-是否支持同婚立法留言
- 網址：
- 眾開講-法令草案預告-國外牙醫學歷參加醫師考試臨床實作適應訓練辦法草案公告
- 網址：
- Todo：標記分類答案
- 標記前 100 筆
- 不包含「回覆他人的留言」
- 標記欄位：
- 是否為情緒發言
- 是否為純支持
- 是否為純反對
- 是否有額外意見
- 這則留言已知與哪一個編號的意見屬於相似意見

### GPT3.5 指令文字設計 (2023.08 測試 by chewei)
- 先把留言給予流水編號
- 一次給 10 或 20 則留言
- 注意有些留言彼此有上下文關係
- M-9-2：回覆 M-9 的第 2 則留言
- 這要如何處理？
- 建議本階段測試，先跳過這類回覆他人的留言？
- 可以先把純支持、純反對的區分出來
- 對於有額外意見的，進行相近意見分群
- 經測試後，LLM 對於留言研判與分類，無法大量批次累加，所以需要一次十筆、一次十筆 ..

### 指令文字

:::spoiler 第一版指令文字 (以下是尚未用人工標記結果來改善指令內容)

ver 1
你是個留言整理機器人，我會不斷地提供給你不同的留言編號以及留言內容，每次丟十句給你，請你幫我分類哪些是「純支持」，哪些是有提供額外具體意見，以及還有沒有哪些其他值得被分類的種類，知道的話請跟我說 OK

ver 1 應用於政治獻金 Sample 留言
- https://chat.openai.com/share/7ceb3b9f-fb5f-434a-82ab-ca214dc17964

ver 1 應用於同性婚姻 Sample 留言
你是個留言整理機器人，我會不斷地提供給你不同的留言編號以及留言內容，每次丟十句給你，請你照編號順序幫我每一句話標示分類是「支持民法婚姻」、「支持專法婚姻」、「反對同性結婚」還是其他意見，知道的話請跟我說 OK

ver 2
你是個留言整理機器人，我會不斷地提供給你不同的留言編號以及留言內容，每次丟十句給你，請你幫我分類哪些是「純支持」，哪些是有提供額外具體意見，以及還有沒有哪些其他值得被分類的種類，並且幫我持續累積起來前面的結果，知道的話請跟我說 OK

ver 3
你是個留言整理機器人，我會不斷地提供給你不同的留言編號以及留言內容，每次丟十句給你，請你幫我分類哪些是「純支持」，請幫我記下純支持的編號就好，哪些是有提供額外具體意見，請幫我把類似的具體意見合併在一起並記下編號，以及還有沒有哪些其他值得被分類的種類，請你不要忘記前面已經提供的留言，讓整理內容可以逐漸累加，知道的話請跟我說 OK

ver 4
你是個留言整理機器人，我會不斷地提供給你不同的留言編號以及留言內容，每次丟十句給你，請你幫我分類哪些是「支持」、哪些是「反對」，並且加上編號。
另外針對支持或反對，假如有不一樣的意見，請幫我把類似的具體意見合併在一起並記下編號，以及還有沒有哪些其他值得被分類的種類，知道的話請跟我說 OK

:::

:::spoiler 第二版指令文字 (開始用人工標記結果來改善指令內容) 以及 Issue 討論

#### ver 5 用於國外牙醫學歷，且一次處理一則留言

##### ver 5.1
- 【判斷指令】一次判斷一則留言
- 你是個留言整理機器人，我會給你一句留言內容，請你告訴我，這個留言是否表達支持態度 (是或否)，提出哪些意見 (條列)，知道的話請跟我說 OK
- 回應結果，請見 Spreadsheet 的「C 欄位」

##### ver 5.2 【判斷指令】、【整合指令】
- 相較於 ver 5.1，ver 5.2 的修改方向筆記
- 請他用三選一：支持、不支持、特定條文修改建議
- 歸納出來的意見，不要這麼多贅字描述
- 不要給我總結說明 (像這句 "總之，這句留言中提到了對實習員額的明確訂定、醫療短缺情況、名額比例、以及限制每年實習名額的看法。")

---

A.【判斷指令】一次判斷一則留言
- ChatGPT3.5 回應結果，請見 Spreadsheet 的「E 欄位：ChatGPT 指令 ver 5.2」，(20230827 已測試 125 則留言)
- 指令：

你是個留言整理機器人，我會給你一段留言內容，請你告訴我，這個留言是否表達支持態度 (是或否或只針對特定條文提出修改意見)，提出哪些意見 (請條列，關鍵的數字描述都不要省略掉，但請簡短)，我不需要總結說明，不需要你的提醒，依照以下規格回答

支持態度：
提出的意見：
1.
2.
3.

以上規則請全程遵守，不允許其他回答格式，知道的話請跟我說 OK

---

B.【整合指令】用於將 5 筆內容整合成 1 筆內容
- (第一次寫法) 請你將前面的每一則留言，相同的修改意見整合，列點給我
- 當然，以下是你之前提供的留言中，相同的修改意見的整合：
- 1.學歷採證不可廢，保留原本的學歷採認原則，以避免資格不符的情況。
- 2.考慮台灣現行醫療人力需求，設定實習名額，每年50人以下，並於民國113年下降至每年30人。避免無上限增加。
- 3.在審查專業性時，限制範圍只包括英、美、德等先進醫療國家，不應該模糊地概括整個歐洲地區，避免法案產生漏洞。
- 4.強調衛福部應避免利益相關人士參與法案討論，確保法案的公平性和透明度。
- 5.保護台灣牙醫界品質，防止權貴子弟透過後門破壞體制。
- 6.強調維護醫療界環境的公平正義，讓民眾感到安心。
- 7.第六條中明確實習名額，只在台灣醫療短缺情況下開放，且限定比例和員額數，不超過任何一所牙醫校系的招生名額。
- 以上整合的修改意見，以清晰且具體的方式表達了對法案的不同方面的建議和支持。
- (第二次寫法) 請你將前面的每一則留言，相同的修改意見整合，也列出獨特的意見，列點給我
- 統整的修改意見（相同的部分）：
- 1.強調學歷採證的重要性，不應該廢除。
- 2.建議在法案中明確規定學歷採證的要求，確保參加考試的人具備足夠的學術背景和資格。
- 3.提到實習名額的議題，支持限制實習名額，並根據台灣醫療需求的情況進行調整。
- 4.強調法案應該確保公平正義，不應該特別優待特定人群，而是保障整體社會的利益。
- 5.表達對法案執行的擔憂，要求確保法案的執行不受到干擾或逃避。
- 獨特的修改意見：
- 1.對於第五條，建議限定審查範圍在特定先進醫療國家，不應該包括東歐相對落後國家。
- 2.對於第六條，建議設定實習名額的條件，包括醫療短缺情況、比例限制以及每年實習名額的上限。
- 3.強調政府應該避免特權對待，要求公平正義，確保整體社會的信任和支持。
- 整合後的列點：
- 共同修改意見：
- 1.強調學歷採證的重要性，不應該廢除。
- 2.建議在法案中明確規定學歷採證的要求，確保參加考試的人具備足夠的學術背景和資格。
- 3.提到實習名額的議題，支持限制實習名額，並根據台灣醫療需求的情況進行調整。
- 4.強調法案應該確保公平正義，不應該特別優待特定人群，而是保障整體社會的利益。
- 5.表達對法案執行的擔憂，要求確保法案的執行不受到干擾或逃避。
- 獨特修改意見：
- 1.對於第五條，建議限定審查範圍在特定先進醫療國家，不應該包括東歐相對落後國家。
- 2.對於第六條，建議設定實習名額的條件，包括醫療短缺情況、比例限制以及每年實習名額的上限。
- 3.強調政府應該避免特權對待，要求公平正義，確保整體社會的信任和支持。
- (第三次寫法) 請你將前面的每一則留言，相同的修改意見整合，也列出獨特的意見，關鍵的數字描述都不要省略掉，列點給我
- 留言中相同的修改意見整合如下：
- 1.支持學歷採證原則，確保資格符合。
- 2.支持開放實習名額，但需限制每年的數量。
- 3.衛福部在修立法案時需避免利益相關人士參與討論，以確保公平性。
- 4.強調政府應追求公平和正義，不應特別處理特定人士。
- 5.呼籲確保法案透明、清晰，以維護社會信任。
- 獨特的修改意見：
- 1.學歷採證原則不能廢，應保留。
- 2.建議限制開放實習名額在每年50人以下，並於民國113年下降至每年30人。
- 3.要求衛福部限制法案中的國家範圍，不應一概而論，應限於先進醫療國家。
- 4.建議將專業團體辦理審查作業，但要確保其公正性，並可向申請人收費。
- 5.建議明確訂定實習名額，只在台灣醫療短缺情況下開放，且限定比例和每年招生名額。
- 這些修改意見都是根據您之前的留言內容所整理出的，如果有任何進一步的修改或補充，請隨時告知。
- (第四次寫法) 回應結果，請見 Spreadsheet 的「欄位標頭：125 -> 25」
- 指令：

你是個內容整理機器人，請你將以下文章中，每一種意見整理出被提及的次數，列點給我，關鍵的數字描述都不要省略掉，我不需要總結說明，不需要你的提醒，依照以下規格回答

1.共有 ? 次，提到第一種意見，意見是什麼
2.共有 ? 次，提到第二種意見，意見是什麼
3.共有 ? 次，提到第三種意見，意見是什麼

以上規則請全程遵守，不允許其他回答格式，知道的話請跟我說 OK

---
B.【整合指令】用於將 5 筆內容整合成 1 筆內容
- (第一次寫法) 回應結果，請見 Spreadsheet 的「欄位標頭：25 -> 5」
- 指令：

你是個內容整理機器人，請你將以下文章中，每一種意見整理出被提及的次數，列點給我，關鍵的數字描述都不要省略掉，我不需要總結說明，不需要你的提醒，依照以下規格回答

1.共有 ? 次，提到第一種意見，意見是什麼
2.共有 ? 次，提到第二種意見，意見是什麼
3.共有 ? 次，提到第三種意見，意見是什麼

以上規則請全程遵守，不允許其他回答格式，知道的話請跟我說 OK

- 討論：
- 針對「25 -> 5」這個執行ㄏ，一次指令 GPT 3.5 免費版要跑三次才能跑完
- 平均得到 30-50 個意見列點
- 跑一次之後，GPT 就會忘記內容歸納規則
- 想要把 5 則整合成最終一則，文字數量超過 GPT 3.5 免費版網頁可輸入的文字數量，所以沒有執行此步驟

---

ver 5.2 經驗綜合筆記：
- 從整體流程與受眾分類，來思考「法令草案預告」登載在 JOIN 平台上，這個管道的定位為何？
- 從整體流程來看，「法令草案預告」本身出爐之前可視為，已納入一部分群體的意見
- 當草案預告，登載在 JOIN 平台上，可視為針對的受眾，是完全沒有參與在擬階段的群體
- 所以，受眾群體可以分為：
- 有參與到草案研擬階段
- 機關主辦的研擬會議
- 沒有參與到草案研擬階段
- 須從「公報網」與「JOIN 平台」來提出對於草案的意見
- 民眾的留言，其實有許多直接會針對「特定條文」給意見，對於這類留言，與其去判斷支持或不支持，更應該要在介面上就能被加註在特定條文所開展的留言區，已有類似的網頁介面案例 ([Link](https://www.mirrormedia.mg/projects/election2024-president-letters/index.html))，能優先在特定條文進行留言，會比起放在綜合留言區來的容易歸類、對焦實際爭點
- ChatGPT vs 人工標註
- 人工有列 vs GPT 沒列：嚴重度 ❗
- GPT 有在單一一則研判的時候有抓出來列點，但 13 則留言內容整合時，就沒有列出以下事項
- 「適應訓練時間長度入法」
- 「適應訓練地點建議納入大型牙醫聯合診所」
- 可能的修改方向
- 例如改成 5 則就整合一次？避免遺失
- 但總量 3 萬則，要如何整合？
- 之後的第二次整合，會不會又開始漏？
- 能否做到：
- 6 次留言，提到「應設置員額上限」
- 3 次留言，提到「國外醫學學歷採認原則也要納入草案」
- GPT 有列 vs 人工有列但沒列這麼細：做得比人好 ⭕
- 人工標註，採用「應設置員額上限」來涵蓋不同上限數字的意見 (有的人講明確數字、有的人說要看比例)，這個基本上是因為人工手動整理就覺得懶得分這麼細，但 GPT 沒差，所以他拆成兩個意見。
- 基於 GPT 不嫌麻煩，「整合指令-第三次寫法」就有提到「關鍵的數字描述都不要省略掉」，就可以留下「每年50人以下，並於民國113年下降至每年30人。」這樣的整合歸納後的意見，而不是如「整合指令-第二次寫法」最後只能得到「提到實習名額的議題，支持限制實習名額，並根據台灣醫療需求的情況進行調整」。
- GPT 有列 vs 人工沒列：做得比人好 ⭕
- 單純是人工標標註過程遺漏：
- 編號 M-10：「爰明定審查作業得委託專業團體辦理，並得向申請人收費。」
- GPT 會列出較抽象的原則立場表達，人工標記者不一定會列出這種意見，例如：
- 表達對法案執行的擔憂，要求確保法案的執行不受到干擾或逃避。
- 強調政府應該避免特權對待，要求公平正義，確保整體社會的信任和支持。
- 小結：
- 面對單一一則留言，GPT 不會漏看
- 13 則跨留言整合，從結果來看 GPT 無法全都放入
- 對於這樣的情況，可能思考的角度會是，人類什麼時候要接手？
- 例如總數量 3 萬則留言，若 5 則整合留言一次，會得到 6000 則第一輪整合，第二輪 1200 則，第三輪 240 則，第三輪 48 則 (48 則，似乎達到人類文章閱讀可接受程度)
- Demo：基於三輪，一輪 5 則文本整合，需要用 125 則留言來 Demo
- 人工標註資料已增加到 125 則
- 透過「失真率」來評估
- 已知：一次一則，GPT 勝過 人類，人類會眼花漏看
- 待確認：五則整合成一則？
- 已知：13 則整合成一則，GPT 在整合時會有遺漏
- 其他發想筆記
- 如果讓 GPT 先讀一次草案內容，再讓他一次看一則留言，進行這則留言的分類，準確率會比較高嗎？

---
:::

### 應用介面與流程

- 從公務同仁的角度來說
- 發起主題後，民眾開始留言
- 應有一個後臺，可以看到
- 純支持，依序列出所屬留言
- 純反對，依序列出所屬留言
- 額外意見分群1，此意見分群出現的時間點，依序列出哪些意見內容
- 額外意見分群2，此意見分群出現的時間點，依序列出哪些意見內容
- 額外意見分群3，此意見分群出現的時間點，依序列出哪些意見內容
- 額外意見分群X，此意見分群出現的時間點，依序列出哪些意見內容
- 人工修改
- 管理者手動修改 GPT 對於單一一則留言的分類結果，並儲存這次的修改結果
- 從 GPT 的流程來說
- 收到一則「留言 A」
- 區分這則留言為「純支持」、「純反對」、「額外意見」
- 若為「純支持」則結束
- 若為「純反對」則結束
- 若為「額外意見」
- 額外意見內容，與當下已有的「額外意見分群1」、「額外意見分群2」...進行相近程度比較
- 若研判與「額外意見分群1」相近，則「額外意見分群1」的清單要加入「留言 A」，於此結束
- 若研判都不相近，則產生「額外意見分群X+1」，並且「額外意見分群X+1」的清單要加入「留言 A」，於此結束

- 【課題討論】：
- 額外意見分群
- 分群結果的數量，可以容許多少？
- 如果太多，那麼「留言 A」有辦法被分群嗎？
- 分群結果，會因為留言持續累積，而發生消失、整併的情形嗎？

## 幫讀文件

把文本內容進行分類

- 目前平台有「電子報訂閱」的功能 !
- 不過「法令草案預告」只能訂閱大分類，例如：內政
- 可能再寫信詢問能否訂閱到小分類，例如：內政分為，族群、移民、國土規劃、政府改革、內政、國土安全與災害防救

將「法令草案預告」進行歸類
歸類架構，可以參考政府資料開放平台 https://data.gov.tw/

:::spoiler 第一版指令文字

你是一位???，幫我閱讀以下法令內容，告訴我這份法令屬於哪一個種類

:::

其他案例
- 逛到一個服務，也是針對政府文件導入對話機器人，幫讀文件、幫找內容段落 https://www.konveio.com/ai

## 表格
- Power up your data science workflow with ChatGPT. https://github.com/rvanasa/pandas-gpt