NLP若手の会 第18回シンポジウム（YANS2023）参加報告

2023年8月30日（水）〜8月31日（木）に浅草橋ヒューリックホールで開催されたNLP若手の会第18回シンポジウム（YANS2023）に参加してきましたので、そのご報告をします。

NLP若手の会は自然言語処理とその関連分野の若手研究者の交流を促進することを目的とするコミュニティです。
シンポジウムは毎年8月の下旬ごろに開催されています。
コロナ禍の影響でしばらくオンラインでの開催となっていましたが、今年はYANS2019以来４年ぶりの現地開催となりました。
前日の8月29日（火）に開催されたハッカソンも含めて3日間とも非常に盛況で、シンポジウムでの発表件数は昨年の２倍以上となる140件を数えました。

聴講した発表のご紹介

聴講した発表をご紹介します。

チュートリアルセッション

グラフを用いた近似最近傍探索の理論と応用：松井 勇佑 (東京大学)

自然言語処理分野で近年使われるようになっている近似最近傍探索についての発表でした。近似最近傍探索とは、大量のデータから目的のデータを探し出す探索技術の一つです。近似最近傍探索は最近傍探索と比べ厳密な最近傍を求めなくて良い分、より高速な探索をすることが可能であり、現在自然言語処理を含むさまざまな分野で発展しているそうです。こちらの発表ではグラフを用いた近似最近傍探索について、具体的にどのようにグラフを構築するのか、構築したグラフからどのように探索するのかといったことが詳しく説明されていました。詳細はこちらで公開されている発表スライドをご覧ください。

その研究ChatGPTでいいんじゃないですか？〜LLM時代の対話システム研究〜：吉野 幸一郎 (理化学研究所 / 奈良先端科学技術大学院大学)

ChatGPTの登場以来、研究発表の場で「その課題はChatGPTでは解決できないのでしょうか？」といった質問が度々聞かれるようになりました。こちらのチュートリアルはそのような質問に対応するためにはどうするべきかについての発表でした。発表スライドはこちらで公開されています。
何を研究の目的としているのかを明確にし、その目的がChatGPT（または他のLLM）をそのまま使うのでは達成できないことを説明できれば「その研究ChatGPTでいいんじゃないですか？」という質問にも耐え得る、というお話でした。雑談対話システムの研究では目的が曖昧になりがちという問題があります。これはそもそも雑談の目的が曖昧なためです。例えばPerplexityが下がることや発話の魅力度が0.1上がることが社会的にどのような意味を持つのかは曖昧です。対話システムの評価を高くすることが社会的にどのような意義を持つのかがわからないと、対話システム研究の目的もわからず、どのような評価指標が適切かがわからず、ChatGPTのどのような部分の評価が依然低いままでどのような課題が残されているのかが説明できず、ChatGPTではいけない理由が説明できなくなるということでした。

ポスターセッション

ポスターセッションの発表を聴講して印象に残ったのは、データ収集で悩んでいる方が少なからずいらっしゃったことです。X（旧Twitter）のAPI料金が上がりデータ収集が困難になったことや、日本語のデータセットが英語と比べ非常に少ないことが難点となっているようでした。そのような中でデータセットを機械によって自動で拡張することを試みている研究発表があったので、いくつかご紹介します。

AIに必要な人間の一般的な道徳観の獲得：大橋巧 (法政大学), 中川翼 (法政大学), 彌冨仁 (法政大学)

AIに道徳観を持たせることを目的とした研究です。AIに道徳観を獲得させるための常識道徳データセットが存在していますが、日本語ではそのようなデータセットがあまり多くありません。そこでこの研究ではChatGPTを用いてデータを拡張していました。具体的な手順は以下の通りです。
1. 元データセットのペア文から一致部分を抽出（例：植物に水を与える / 植物に除草剤を与える → 植物に<>を与える）
2. ChatGPTによる類似文の生成（例：植物に肥料を与える、植物に酒を与える、植物に毒を与える）
3. 与えられた文が道徳的か否かのラベルをChatGPTによって付与（２種類のプロンプトでアノテーションを行い、ラベルが一致した文のみをデータセットに追加）
この手法で拡張したデータセットで言語モデルを学習させたところ道徳判断の精度が向上したとのことです。

翻訳データを用いてチューニングした言語モデルの流暢性向上：李凌寒 (LINE株式会社)

日本語のデータの少なさを補うために、英語から機械翻訳によって作成された日本語データを用いて言語モデルをチューニングすることの効果を検証した研究です。結果として、少量の綺麗な日本語データと大量の翻訳データを合わせてチューニングに用いるより、少量の綺麗な日本語データのみでチューニングした方が流暢性が高く、機械翻訳によるデータ拡張はうまくいかなかったとのことでした。

おわりに

3日間とも得るものが非常に多いシンポジウムでした。
知り合いが一人もいない状態で臨んだので少し緊張していたのですが、全体的に交流が盛んでさまざまな方と知り合い研究の話をすることができました。
YANSはまだアイデア段階という萌芽的な研究も温かく受け入れる文化があるので、興味のある方はぜひ参加してみてはいかがでしょうか。
来年のYANSも楽しみですね。