プロンプト次第で正解率90%超え｜GPT-3.5で求人情報分類を実現させる技術
プロンプトエンジニアリングの分野は日々進化しています。今回は、GPT-3.5を活用した求人情報の分類の最適化をテーマとしたケーススタディを元に、プロンプトエンジニアリングの実用性とその課題を明らかにした論文をご紹介します。
参照論文情報
タイトル： Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification
著者：Benjamin Clavié, Alexandru Ciceu, Frederick Naylor, Guillaume Soulié, Thomas Brightwell
URL：[2303.07142] Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification (arxiv.org)
プロンプトエンジニアリングとは？
大規模言語モデル(LLM)を最大限に活用するためには、プロンプトの工夫が必要です。最近では、自社のアプリケーションにLLMを導入したい場合、モデルの微調整に加えて、「プロンプトエンジニアリング」という適切な自然言語プロンプトの設計も重視されています。これにより、訓練済みのモデルからの正確な推論と高い性能が期待できます。
ケーススタディの紹介
本研究で挑んだのは、難解なテキスト分類課題です。
「エントリーレベル」と表記されている求人の中で、実は35%以上が数年の経験を求めているとのデータが出ています。求職者のため、著者たちは新卒に最適な求人か、それとも経験が必要か、を自動で判別するAIを開発を目指しました。
求人が本当に適切かの判断は微細で、良い機会を逃さないためにも誤評価は極力避ける必要がありました。