---
tags: AI,
---

# 台語自動分詞與詞性標記系統


## 提案代表人
李家名

## 專案簡介

除了臺灣羅馬字拼音書寫以外，現代臺灣台語另有一大批使用是使用台語白話字書寫而成。而使用這些語料施做大型語言模型 (Large Language Models) 的應用時，一大挑戰在於台語白話字書寫系統中，有許多和臺灣的國語使用一致的字符 (character)。

例如「你想會著的攏記落來。」一句中，每一個字都是臺灣的國語中會使用到的字符，因此何時讓大型語言模型察覺到目前的提詞輸入是臺灣台語，而非臺灣的國語繁體中文而已，甚至絕對不是簡體中文的文字，將是語言模型中呈現「台灣觀點」的一大評測重點。

本專案計劃針對臺灣台語語料設計一個可和現代 NLP/NLU 工具做串接，甚至可和 LLM 做語意計算串接的自動分詞與標記系統。專案內容包括以下兩個目標：

* 臺灣台語自動分詞系統
* 臺灣台語詞性標記模組
:::success
License：本專案所撰寫之程式為 MIT License。 本專案內附之教育部台語詞典為創用CC「姓名標示-非商業性-禁止改作」2.5臺灣版授權條款
:::
:::warning

- 專案簡介：https://sch001.g0v.tw/dash/prj/PwBWl.O3AIxboDff5pXCq.DBAx1Eza
- Hugging Face：https://huggingface.co/datasets/aigrant/Taiwanese-Chinese_characters-POJ-Collection

:::

## 成果發表影片
<iframe width=100% height="315" src="https://www.youtube.com/embed/mIPYXLtFuu4?si=OQPWySlJoJejFZs9" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

> 影片連結：https://youtu.be/mIPYXLtFuu4