EVALUATION
モデル評価
日本の臨床で使えるかどうかを、私たち自身で測っています。問題と採点基準の作り方、そして測り方の限界を、結果と同じページに書いています。
01 — Evaluations
いま公開している評価
いずれも、問題と採点基準を私たちが作り、結果を数字で公開しています。
-
12問採点基準54項目・判定者2名
臨床判断 — 日本の臨床における主要モデルの評価
日本固有の臨床問題で、主要な大規模言語モデルを継続的に測定しています。薬理・用量、ガイドラインの版、制度・受診行動、文化・言語の4層で採点しています。
評価を見る -
17システム薬剤名の正答率 37.2〜100%
音声認識 — 日本語の診療会話の書き起こし
日本語の診療会話を音声から書き起こす能力を測りました。抗ヒスタミン薬ビラスチンは6回現れますが、6回とも書き起こせたのは2つだけでした。
評価を見る -
19種日英比 0.81〜1.34
トークナイザ — 日本語の診療記録の扱い
同じ内容の診療記録を日本語と英語で用意し、19のトークナイザで測りました。日本語の不利は言語の性質ではなく、設計の結果でした。
評価を見る
02 — Background
評価の背景にある調査
評価そのものではありませんが、なぜこの測り方をしているのかを説明する調査です。コラムに掲載しています。