OpenAIが内部コード名「Project Lily」のもと、数百人の契約社員に実際のChatGPTユーザーの会話を読ませ、応答の質を1〜7段階で評価させていることが404 Mediaの取材で明らかになった。目的はChatGPTの過度なお世辞や人間らしすぎる振る舞いを抑えることだが、ユーザーが自分の会話を人間が読んでいると認識していない点が問題視されている。

Project Lilyの実態

契約社員はCrossing HurdlesやMercorといった人材派遣企業を通じて採用されており、北米の労働者には時給50ドル以上が支払われている。レビュアーは会話全体を閲覧できる立場にあり、ユーザーが応答内で過度に肯定的な態度を取っていないか、非合理的な思考を後押ししていないか、個人的な不満を増幅させていないかを判定する。

内部文書によれば、レビュアーはプロンプトの上部に表示される「ユーザーメモリの要約」も閲覧できる。これにはユーザーが過去にChatGPTを何に使ってきたか、どこに住んでいる可能性があるかといった情報が含まれることがあるという。会話の中には「この内容は誰にも言わないで」とChatGPTに明確に指示していたケースもあったが、そうした会話もレビュー対象から除外されていなかった。

開示の不十分さ

アカウントは匿名化されているとOpenAIは説明するが、404 Mediaの取材に対し、人間がユーザーの会話を読む可能性をどこでユーザーに開示しているかという質問には、記事公開後になってヘルプページを示すにとどまった。デフォルト設定では「モデル改善のためのデータ利用」がオンになっており、オプトアウトは可能だが、既に行われた会話には遡って適用されない。

ユーザーへの影響

同様の人力レビューはAnthropicやGoogleを含む主要AI企業でも行われており、モデルの応答品質を改善するうえで一般的な手法だ。ただしOpenAIのケースは、機密情報の取り扱いに関する説明が不十分だったことが焦点になっている。ChatGPTに個人的な相談や機密性の高い内容を入力しているユーザーは、設定画面の「データ管理」からモデル改善向けデータ利用のオプトアウトが可能かを確認しておく価値がある。