クリニックの患者さん向けLINE配信をAIで下書きする仕組みを運用していると、自然と次の疑問が出てきます。どんな書き方をすれば、患者さんに情報が届くのか。
数字を入れて「自分のこと」として感じてもらう書き方がいいのか、平易な説明がいいのか。こうした問いに、感覚ではなくデータで答えたいと考えました。ただ、配信は週に1回です。データは少なく、季節やテーマの影響も大きい。そこで、臨床研究の考え方を借りて、小さくても公平に比べられる方法を設計しました。
主な指標は「開封率」ではなく「クリック率」
配信の効果というと、まず開封率が思い浮かびます。でも開封率を主な指標にすると、目を引く見出し、不安をあおる見出しが勝ちやすい。医療機関の情報発信として、それは目指す方向ではありません。
そこで、本文を読んで「詳しく知りたい」と思ったときに起きるリンクのクリック率を主な指標にしました。開封率は参考として記録します。何を成功とみなすかを最初に決めることが、いちばん大事な設計でした。
同じ週に、2つの院で別の書き方を試す
週ごとの数字をそのまま比べると、テーマや季節の違いがそのまま混ざってしまいます。インフルエンザの季節の配信と、健診の案内の配信では、反応が違って当然です。
そこで、同じ週に、同じテーマで、2つの院にそれぞれ別の書き方で配信し、その差を見ることにしました。同じ週の差であれば、テーマや季節の影響はおおむね打ち消し合います。どちらの院にどちらの書き方を割り当てるかは、事前に乱数で決め、両院で回数がそろうようにしています。
よく知られた方法を、あえて使わなかった理由
ウェブの世界では、反応の良い方へ自動で配信を寄せていく手法がよく使われます。ただ、週1回の配信では、結果が出るまでに時間がかかり、その間に季節も変わります。条件が変わり続ける中で自動的に寄せていくと、たまたまの差に振り回されるおそれがあります。
そこで今回は、12週間を1つの区切りとして2つの書き方を比べ、区切りの終わりに、あらかじめ決めた基準で「採用」か「見送り」かを判定する方法にしました。
結果を見る前に、判定規則を決めておく
もう一つ大切にしたのが、データが集まる前に、比べる順番と判定の規則を記録しておくことです。臨床研究でいう「事前登録」にあたります。
結果を見てから「やっぱりこの指標で比べよう」「期間を延ばそう」と変えると、どんな結果でも都合よく解釈できてしまいます。設計を変える必要が出た場合も、元の計画を上書きせずに、変更した理由とともに別に記録するようにしています。
1年で分かること、分からないこと
正直に言えば、週1回・2院の配信で1年かけても、分かることは限られます。期待しているのは、
- 明らかに効果の低い書き方を外すこと
- 相対的に良い書き方を1つか2つ見つけること
までです。「このテーマのときはこの書き方」といった細かな組み合わせまでは、この規模では見分けられません。何が分からないかを最初に認めておくことも、公平な比較の一部だと考えています。
小さな現場でも、測り方は選べる
大規模なデータがなくても、比べ方を工夫すれば、偏りの少ない判断はできます。医療の現場で培われてきた「公平に比べる」ための考え方は、情報発信や業務改善にもそのまま使えます。
この比較は、設計を終えて配信を始めたところで、クリック数を集計する仕組みはこれから整えます。結果はまだありませんが、結果を見る前に設計を公開しておくこと自体にも意味があると考え、ここに書きました。院内の取り組みの効果をきちんと測りたい、という方もお気軽にご相談ください。
この記事は note でも発信しています。