哈萨克斯坦以本土语料训练文化AI：500题基准与档案数字化探索低资源语言数字主权
· 来源：qazinform.com
哈萨克斯坦正通过哈萨克语文化评测、语料与音频数据建设及档案OCR工具，推动人工智能更准确地理解本土语言和历史遗产。
哈萨克斯坦正尝试把人工智能能力建设与本土语言、文化遗产保护结合起来。哈通社9月4日报道称，国际社会组织“Qazaq Tili”与OpenAI合作项目正在训练和评估更能理解哈萨克语、历史与传统的AI系统，并开发用于档案数字化的工具。这一实践为低资源语言如何建立本地数据基础、文化知识库和公共AI能力提供了一个观察样本。
项目负责人阿纳尔·库尔曼然克孜介绍，团队推出了AI评测基准套件，覆盖哈萨克语理解、语法、表达自然度、谚语和习语、学术与文学翻译、儿童文学翻译、安全性及民族志知识等领域。该基准从设计之初即以哈萨克语开发，意在反映其语言结构和文化语境，而非仅将其他语言的测试题直接翻译过来。
其中，独立的民族志测试包含500道题目，涉及哈萨克民族的历史、传统和文化。报道称，GPT-5.6 Terra模型在该测试中的准确率为35.92%。这一结果既显示出通用大模型对地方文化知识的覆盖仍有限，也凸显了本地化评测的必要性：如果缺少由本土研究者参与制定的题目与标准，模型是否准确理解文化概念、习俗和历史叙事将难以被有效检验。团队计划向学术界开放这套基准，用于评估其他语言模型。
在文化遗产保护方面，研究人员还在开发基于光学字符识别技术的工具，用于数字化哈萨克语档案材料和教材。该工具可识别报纸、书籍和PDF中的哈萨克语文本，分析页面结构，并从多栏版面中提取文字。对大量仍以纸质或扫描件保存的历史资料而言，这类能力有助于提升检索、保存和后续研究的效率。
训练数据建设也在同步推进。报道显示，团队正收集哈萨克语文本和音频数据；音频数据集目前已达1.2万小时，并经过背景噪声、音乐等干扰清理。经哈萨克语适配的语音转写模型，语音转文字准确率据称已达到98%。此前，当地专家还编制了一个140亿token的数据库，覆盖语言发展不同时期的历史、文化、教育、科学资料，以及海外哈萨克侨民的语言遗产，用于改善ChatGPT的哈萨克语回答。
不过，本土化AI并不只是扩大语料规模。训练数据的版权与授权边界、档案和民间资料的来源可追溯性、民族志内容的事实核验，以及谁有权定义文化表述，都会影响系统的可信度。尤其在历史和身份认同相关议题上，模型输出若脱离社区知识与专业研究，可能放大误读或将复杂传统简化为固定标签。
从这一项目看，低资源语言的AI建设正在从“支持一种语言输入输出”，延伸至以本地数据、评测体系和数字化基础设施参与定义模型能力。其成效仍有待公开评测和学术审查，但将语言技术、档案保护与文化知识治理放在同一框架下，已构成数字主权实践的重要一环。
—— 综合整理自：哈萨克国际通讯社（Qazinform）