見出し画像

ChatGPT と人間の会話データのスクレイピングによる取得方法とChatGPT APIを用いたデータ分析手法について

こちらの Note は、2023年3月4日 に書かれたものであり、
内容が古くなっている点にご留意ください。


※ こちらの Note は 以下の会話データ分析の記事のフォローアップのためのNote です。

この Note には以下の5つのコンテンツが含まれています:

  • 上記の記事で使用したChatGPT と人間の会話データの入手先サイト

  • 対象のサイトに対するスクレイピングコード(Python)とそのデータの整形加工コードおよび、それらのコードの使い方の解説

  • 最新のデータの取得方法

  • ChatGPT API を使用したデータ分析手法(Python)と使用したメガプロンプト2つ

  • 40,003件のChatGPTと人間の会話の加工済みデータ(スレッド内の会話を全て含めると合計379,435回分の会話が入っています)

※注意: 4月3日現在、スクレイピング先のサイトがデータ収集ができないようになったため、スクレイピングができません。我々が既にスクレイピングしているデータについては引き続きダウンロードできます。

ここから先は

10,183字
この記事のみ ¥ 1,980