---
tags: COVID-19
tittle: AI 疫調口述病歷
description: 以語音辨識協助第一線人員，加速疫調流程。
---

# **AI 疫調口述病歷 (場景1)**


* **流程文字化**：問診=>醫師口述病歷 (=>語音轉文字=>抓取文字中的重點資訊=>轉存為病歷 | 填入通報系統)
* ( ) 裡面的 就是這次要請 TW AI Labs 團隊要幫忙自動化的部分
* **臨床痛點**：
* 穿防護衣、雙手須採檢工作時，還需輸入病歷。
* 需花費人力時間輸入傳染性通報系統，相關資訊可能還需負責人員在問診後另行再詢問一次。
* **目的**：要用口述代替打病歷，讓第一線有辦法把雙手空出來。希望就是醫師口述完這輪後，『病歷』跟『通報系統』所必要的資訊就都完成
* **場景1發生情境&思辨**：
* 以「防疫門診」為優先。目前急診還不適用。
* 使用於「採檢站」？
* 急診周醫師：上篩檢站忙到8小時只能喝兩口水，上兩次廁所，大家真的沒有心思改變流程。
* =>可再詢問、確認第一線人員之想法。
* 急診邱醫師：如果是市區快篩站，篩檢人員的雙手是一直在隔板的工業手套中，可以口述紀錄應該是很有吸引力。
* 人工病歷完成速度不錯 (e.g. 其實我每一份病歷大概花不到10秒；長庚體系都還有barcode系統快速鍵已經省很多麻煩了；其實問跟填很快，只有婚姻，職業，發病日，都有下拉式選單；以急診或防疫門診來說，現階段把資料輸入通報系統並非速率決定步驟)
* =>自動化、減少人力的方向還是值得先做。也許這步少的人力不是 1個(人-小時)，但是可以是 0.05個(人-小時)也沒關係，累積起來就會很可觀，而且可預見的未來也不知道會有沒有像現在這麼多人力可用。
* 有辦法增加協助開立常用藥物嗎？像"開立藥物 acetaminophen 一顆 QID 三天" 就可以把藥囑開出
* 技術可以把醫師的order轉文字，但是要轉到目前HIS的系統直接開藥，就要找長庚的資管做介接。
* 語音辨識可辨識英文專有名詞，需要資料有
* 專有詞字典，與過去的文字病歷讓模型學習前後文
* 如果醫師的唸法與依英語規則組合出的發音差異很大，需要提供醫師唸法的錄音
* **優化行動**：
* 20210525：
* 照結構化的設計來口述。
* 
* 前一版設計(醫師問診後覆述)是為了不要多增加臨床多餘的動作，或是改變習慣。
* 若第一線同仁有辦法接受這樣結構化的口述，雖然是多多少少改變了一點個人習慣，但技術上應該會更容易達成。
* 目前還是先把 防疫門診 的場景先完成，至少：口述=>語音轉文字=>重點擷取 這段先做好。

# **AI 篩檢就診分流 (場景2)**
* **流程文字化**：病患(在家、候診時)依結構化設計口述病歷=>語音轉文字=>抓取文字中的重點資訊=>計算風險=>進行分流
* **臨床痛點**：
* 雙北：病人量太大 發燒 呼吸道症狀，全部卡在篩檢站。
* 高長：最卡的就是病患結帳流程，急診無法提供線上繳費，要等待病患拿現金、用夾鏈袋封裝、在拿到室內櫃檯繳錢等等的過程最花費時間。非常多的諮詢電話衛生局無法消化都會轉到急診，我們必須頻繁的接電話衛教一般民眾。 病人量太大，需要將篩檢者與非篩檢者分流。
* **目的**：協助分篩檢就診流，甚至病患在家就可以先用。
* **場景2發生情境&思辨**：
* 像高雄市的快篩站是需要衛生局預約，如果可以用這個系統讓病患先輸入協助預約，剩下低風險但還是想要採檢的再由專人說明，應該會好一點。
* 要來診病患掃QR code，按照上面結構化病歷設計自己講一講，然後按照風險分流。
* **優化行動**：
* 20210525：
* 5/25討論後激盪出的新使用場景。擬先把 口述=>語音轉文字=>重點擷取 這段先做好，再思考分線出此場景是否可行。

# **試用**
https://inquiring-assistant.yating.tw/
* 醫師問診過程，將病人的話整理過後，給予簡短的整理。
* 輸入方式
* 醫師略為停頓0.5秒，先講「欄位名稱」，再直接講要輸入的內容。
* 醫師請先講「輸入"欄位名稱"」，再講要輸入的內容，如：「輸入接觸史，去過永和跟中和，而且疑似與確診者接觸」
* 如有收音問題，桌上電腦建議使用指向型麥克風，手機建議使用耳麥。

# **v0.0.4 示意影片**
{%youtube zVONKALLz4w%}

# **使用畫面示意圖**

右邊是問診的即時逐字稿，會分辨出醫生講話的聲音，然後自動帶入左邊的表格

# **使用者回饋**
* **試用時間：2021/05/25 09:36**, 試用者A:林口長庚住院醫師
* UI:一開始點開，不清楚是用醫師手機、醫院電腦還是問診對象的手機
* Functionality:測試環境是在醫院辦公室，使用的為iphone 7 手機麥克風，旁邊同事的講話聲都會跑進去，假如有穿相關防護衣的話，也許聲音品質會不佳，另外，發現醫師必須要summarized問診對象的話，才會比較好的被抓取進去。
* **2021/5/25**
* 與第一線醫師的使用情境討論，為了確保擷取填表資料正確，建議採用「輸入+項目」為指令。
* **2021/5/24~5/25**
* 林口長庚、高雄長庚急診與防疫門診醫師回饋，較適合用在防疫門診。另外門診時病患的情況若能用口述輸入，還是能節省時間
* **2021/5/26**
* 高長急診柳部長：看診前若能先搜集病患相關資料將會加快防疫門診的速度。此與 [**AI 篩檢就診分流 (場景2)**]的需求相當類似，下一個產品開發的目標？
* 改變語音輸入方式：項目名稱＋[語音內容]。
* 藥物過敏：常見就「抗生素」跟「止痛藥」過敏。就使用這兩個詞就好，不念藥名了。
* **請高長王院長指派資管人員協助介接事宜**。
* **2021/5/28**
* 已聯繫長庚醫科，**預計於高長安裝測試**
* 合適的流程應該如下：
1.安裝雅婷系統到電腦當中。
2.開始語音輸入，並儲存文字檔到設定路徑資料夾。
3.資管抓取文字檔，把結果對應到通報單的欄位協助填入(病歷文字檔也是同樣流程)。
4.醫師進入病歷和通報單畫面，確定資料無誤後存檔送出。
* **通報規則更改**：只有檢驗(Ag test OR PCR)陽性才進行通報，通報數預計會大幅減少
* 口述病歷另一個重點是非接觸，再找臨床上的niche
* 高長邱醫師：還是支持語音輸入系統在現場協助醫師減少部分病歷書寫的負擔，例如像我們很常做的超音波檢查，紀錄也是格式化內容，現行流程是做完一個超音波後找時間在電腦上點選結果完成報告。
* **朝解決 AI篩檢就診分流(場景2) 的方向進行產品優化**？

---
# **參與醫院/醫師**
* 林口長庚
* 王信堯醫師
* 周禹謀醫師
* 王豐林主任
* 高雄長庚
* 邱義閔醫師
* 柳居豐部長給予建議
* 王植熙院長
* 三總
* 方文輝醫師
* 北醫(附醫)
* 唐主任
* 蔡龍文(龍副)
* 北榮
* 中榮
* 高榮
* 高醫
* 義大
* 台大醫院
* 台北慈濟
* 新光醫院
* 台北馬偕
* 中國醫
* 成大醫院
* 署立桃園醫院