AIToday

IBS Software、Amazon Bedrockで多言語NERを実現 コスト14倍削減

Amazon AI Blog14時間前5分で読める
IBS Software、Amazon Bedrockで多言語NERを実現 コスト14倍削減

要点

IBS Softwareが、Amazon Bedrockを活用して、英語と日本語の貨物メールから23種類の固有表現を自動抽出するNERシステムを構築しました。大規模モデルから軽量モデルへの知識蒸留により、95.085%の精度を保ちながら推論コストを14倍削減し、リアルタイム処理を実現しています。マネージドサービスにより設定の複雑さを解消できたことが、運用上の課題解決につながったとみられます。

こういう要約が、毎朝あなたのメールに届きます。

無料で登録 →

3つのポイント

  • 何が起きたか

    IBS Softwareが、Amazon Bedrockの知識蒸留機能を使い、英語と日本語の貨物ロジスティクスメール処理向けNER(固有表現認識)モデルを構築しました。Amazon Nova Proから小型モデルのNova Liteへ知識を蒸留することで、95.085%のF1スコア精度を達成しながら、推論コストを14倍削減しました。

  • なぜ重要か

    貨物業界では、AWB番号や便名、重量、配送指示といった情報を複数言語のメールから自動抽出することが運用効率に直結します。従来のオープンソース手法では設定の複雑さや精度とコストのトレードオフに直面していたため、AWSのマネージド蒸留機能によって実用的な精度と費用効率を両立できることは、同様の多言語NER課題を抱える企業にとって参考になる可能性があります。

  • 注目点

    4ヶ月の開発期間で、350英語・150日本語メッセージからなる500件の手作業注釈データセットを用いて実装されました。失敗と学習の経験として、PyTorchやTextBrewerなどのオープンソースフレームワークでの課題を乗り越え、Amazon Bedrockで成功した経緯が記載されています。

よくある質問

どのモデルを使用していますか?
教師モデルとしてAmazon Nova Pro、学生モデルとしてAmazon Nova Liteを使用しています。Nova Proから蒸留したNova Liteが、教師モデルの98%の性能を保ちながら14倍のコスト削減を実現しました。
認識対象の言語はどれですか?
英語と日本語です。350英語メール、150日本語メールの合計500件で訓練されており、日本語テキストではF1スコア93.635%、英語テキストでは96.535%を達成しています。
認識できる情報は何ですか?
AWB(航空運送状)番号、便名と経路、重量(総重量・課金対象重量・容積重量)、寸法と容量、商品説明、荷送人と受取人情報、特別取扱コード、配送指示など23種類の固有表現を抽出します。

ディスカッション

この記事のディスカッションはまだありません

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める

登録無料・30秒で完了・いつでも解除できます

毎朝1分、AIの要点だけ。

200媒体以上・Email/LINE/Slack 対応

無料で受け取る →