アノテーション事例～人の画像に対するキーポイント付与

アノテーション（キーポイント付与）作業が求められた背景

モーションキャプチャにAIを活用～アノテーション（キーポイント）が必要に

国立大学法人T大学では、人間の動きを可視化して解析する、モーションキャプチャの研究を行っている。この技術は、アスリートの動きを可視化する用途などに利用されているが、従来はセンサーを数十個以上体に取り付けた上で、特殊なカメラを10台以上使って撮影する必要があるため、準備だけでも数時間かかってしまう状況であった。

そこでT大学では、2次元映像上でAIによって関節の中心位置を服装の上から推定したのち、独自のアルゴリズムを用いて骨格の運動を3次元再構成し、従来のモーションキャプチャに近い精度で動きを再現する技術を開発した。この新たな技術では、「キーポイント」と呼ばれるアノテーションを行ったデータセットを学習データとして活用したAIによって解析を行うため、大量の画像データに対してアノテーション作業を行うことが必要となっていた。

アノテーション作業を実施する際の課題

キーポイント付与作業では、指定された出力形式に対応したツールを使用できる要員の確保が必要

今回のアノテーション作業は、運動中の人間に対して実施するものである。具体的には、体操やバレーボールなど、スポーツを行っている人の画像に対して決められた箇所にキーポイントを付与する、「キーポイント」と呼ばれるアノテーション作業となる。キーポイントを付与する作業は、目や耳、肘といった人間の部位に対して点を付与する作業となるが、大半の画像データセットでは、撮影した角度によって右目は写っているが左目は見えない、といったように、キーポイントを付与したい特徴点の場所が全て見えない画像が大半となる。したがって、画像アノテーションの中でも「バウンディングボックス」や「セグメンテーション」などと比較した場合、見えない部分のポイントを類推しながら、かつ正確にキーポイントを付与する必要があるため、アノテーターには類推する能力をはじめとする経験値が求められる。また、対象となる画像の枚数は多いため、アノテーション作業におけるキーポイント付与スピードも同時に求められる。

さらに、今回は納品データの形式が決まっており、対応したアノテーションツールとなる「COCO Annotator」を利用する必要があるため、指定されたツールの構築をはじめ、「COCO Annotator」を扱える環境を複数有していること、および高い精度でキーポイント付与を実施することが可能となる人員数がある程度確保できることも課題として挙げられた。

アノテーションの委託先にサイバーテックを選定した理由

キーポイント付与がリーズナブルであり、かつ日本人品質で実施可能な企業に委託

上記課題を踏まえて業者選定を行う中で、豊富なアノテーション作業経験を有し、海外拠点で実施するためリーズナブルなアノテーション作業が期待できそうなサイバーテックに見積を依頼することにした。見積依頼内容は、費用とともに数枚のサンプル提出を依頼するという流れで業者の選定が行われた。T大学ではサイバーテックを含め4社に見積依頼を行ったが、それぞれの企業から提示された費用およびサンプルなどの提案を検討した結果、サイバーテックがアウトソーシング先として選定された。決め手となったポイントは以下の通り。

• 指定のアノテーションツールである「COCO Annotator」によるサンプル作成作業において、要望をキャッチアップし、必要とされるデータ形式に合致したサンプルデータを素早く提出することができた。
• アノテーション作業を行うメンバーは、オンラインベースによる作業者ではなく、実際にオフィスに出社した上でコミュニケーションを取りながら進める作業者であるため、品質にぶれがないことが想定された。
• 研究の進み具合の関係で分割納品も必要とされる可能性があったが、正社員が実施するセブITアウトソーシングセンターでは、同じアノテーターが実施するため品質にぶれがなく、かつ納期の変更に対しても柔軟な対応が可能となる体制が準備できる提案であった。
• 見積段階から現地の日本人担当者が入ることにより、コミュニケーションがスムーズに進められた。更にサイバーテックがフィリピンに有する、セブITアウトソーシングセンターは、日本との時差が1時間しかないため、打ち合わせのためのWeb会議の日程調整なども容易であった。
• 日本人窓口もさることながら、日本人が品質チェックを行う日本品質でありながら、海外オフショアリングの利点であるリーズナブルな価格で希望の予算内に収まるものであった。

キーポイント付与によるアノテーション作業について

アノテーション作業を10,000名の人物に対して種目ごとに分けて実施

アノテーション作業は延べ10,000名の人物が写っている画像データセットに対して、当初は一括で行う予定であったが、途中で数回に分けて検証しながら教師データをAIシステムに学習させるというモデル検証を実施する必要が出てきたため、それぞれの競技種目において3回に分けて実施することとなった。対象となる画像データセットの種目は、サッカー、体操、テコンドーおよびバレーボールの画像データセットである。

初回のキーポイント付与作業は、サッカー、体操、テコンドーをプレイ中の人物画像データセットに対して指定された34か所にキーポイントを付与する作業を行った。また、対象となる人物画像に対してバウンディングボックスで囲む作業も合わせて実施した。課題として挙げられていた、画像に写っていない特徴点に対するキーポイント付与についても、セブITアウトソーシングセンターの現地日本人ディレクターとフィリピン人アノテーションマネージャ―による指摘を反映させながら問題なく作業を進めることができ、納期通りに納品することができた。

2回目のキーポイント付与作業は、1回目でアノテーション作業を実施したデータセットをAIシステムに学習させてみた結果を受けて、若干の仕様変更が加えられた。2回目のアノテーション作業対象となる画像データセットの種目はサッカーの追加分とバレーボールの一部となり、キーポイント付与作業を実施した。アノテーション仕様の変更があった部分に関しても、アノテーション手順書を改訂した上で、特に問題なく作業は進められた。3回目のアノテーション作業対象となる画像データセットの種目はバレーボールが指定され、予定通りの納期でキーポイント付与作業を実施し、納品まで完了した。

キーポイント付与によるアノテーション作業実施後の展開

アノテーション対象の対象種目をさらに増やすことを検討

今回のキーポイント付与によるアノテーション作業により、AIシステムが必要とする一通りのデータセットが揃ったため、更にAI活用を推進したモーションキャプチャの研究を進めていく予定である。研究を進める中で今後種目数を増やしていくことを検討しており、その際には求めるキーポイント付与作業の仕様を熟知し、アノテーションの仕様をはじめ、作業スケジュールなどの要望に対しても柔軟に対応頂けるサイバーテック セブITアウトソーシングセンターに今後の作業もお願いしたい、という話を頂いている。