Gunosy、横須賀市等の活用事例も！ChatGPTセミナー参加レポ

2023年6月19日に開催された人工知能セミナー「ChatGPTにできることを正しく理解する- 技術概説と実践事例」（@丸の内）に参加しました。

ChatGPTの基礎知識について紹介

前半にChatGPTの基礎知識について、後半では企業における事例紹介について発表がありました。

ChatGPTの基礎知識についてはTransformerについてのお話や、強化学習を交えたInstructGPTについての紹介、またLLMの活用応用方法としてCoT（思考の連鎖）、Incontext learning、Agent(ReAct)などについてまとめられていました。

特にChatGPTの得意不得意な問題についての整理は興味深く、タスク指向の対話や外部知識が必要なタスクが苦手であることは現場感としても納得できるものでした。

また、ChatGPTが従来のzero-shotモデルと比較すると圧倒的に優れている反面、ファインチューニング済みSOTAモデルを凌駕できる性能ではなく、課題によっては依然としてモデルを作り込む必要性が高いことが客観的に示されたことは重要です。

他にも、ChatGPTが生成した文章のROUGEやBLEUなどの自動評価指標のポイントは低くとも、実際に人が確認した場合の評価は高いという場面もあり、タスクによっては評価方法の見直しが必要であることに注目された点はインパクトが大きいです。

企業や自治体における活用事例も

後半の企業における事例紹介については、ChatGPT使用上の細かい注意点（タスクを一度に投げすぎると上手く処理してくれない）など個人的な経験にマッチする話が多く聞けました。

特にGunosy様の事例では、動画の字幕から内容を自動要約するタスクについて、単独ニュースなど上手く処理ができる範囲であっても完全自動化できる部分はおよそ1/3ほどであり人手によるサポートが運用上必要なこと、また複数ニュースのまとめや対話形式のものはかなり自動化が難しいなど内情が赤裸々に語られ、運用課題について整理されていた点が好印象でした。

他にも横須賀市様のChatGPTの利活用については興味深く、職員がアクセスする既存のチャットツールにChatGPTを連携する形で運用することで現場の抵抗をできる限り低減させて導入を進め、また使用感については何度も組織内でアンケートを行いデータ分析し、その結果からアンチパターンを排除するために社内報を提供したりと、横須賀市様の事例はDXのお手本となる取り組みでした。

今後もChatGPTについてはAIReviewにて率先して取り上げて参りますので、引き続きご愛好のほどよろしくお願いいたします。