書きかけの記事がありますが、使えば使うほど頭を抱えるよな問題に直面し大幅に書き直さないと行けないと状態にあるので公開はもうしばらく調査してちゃんとした記事で完成させたいと思います。
長文のPDFをソースして読み込ませてチャットを試していなのであれですが、Wikipediaをメインソースにテキストや記事などのウェブサイトを読み込ませた場合で話しをさせていただきます。
また、Notionデータベースをソースして使うための格闘劇のお話もさせていただきます。
Wikipedia以外もソースにしてチャットした場合、Wikipediaの情報を中心に上手く引き出せなくなりました。このことから、NotebookLMの現状ではソースが多ければ読み込んだソースから良い結果求める結果が得れるとは限らないことを示してると考えられます。
引き出す精度向上は統一された書かれ方、同類の内容をソースだけでチャットするのが良いかと感じました(出演ドラマなどの情報追加するとWikipediaからプロフィールなど返ってきにくくなります)。
プロンプトの工夫だけではWikipediaから上手く引き出せない問題は完璧にどうにもなりませんでした。適応するソースの選択をWikipediaだけなどにし、チャットを行うと問題はある程度解決されました。引き出しに影響するソースをオフにしてもチャットが残っていると前の回答に引っ張られることがあるので注意です。
ソースの上限を突破・回避出来ることに気づき、日々格闘していますが、Notionデータベースをソースにした場合、プロパティしか読み込めないだけではなくプロパティが崩れてソースに反映されてる影響もあり上手くチャットで回答が得れていない大きな問題に直面しました。
データベースのページを1件ずつソースにしてやればちゃんとプロパティも文章も読み込まれます。
※20ブロックの回避方法を使う必要はあります。
ガチャ要素がすごいのはGeminiの精度問題にも直面する話だとは思います。1発で答え返ってこなかったり、ノートブック変えた時に同じような構成で回答されなくてイヤってなることがあります。プロンプトの調整ではどうにもならないので1度気に入った回答の構成近しいものが来るまでガチャはすることになります。
Wikipediaをソースにしたチャットは他のAIとは比較にならないくらい精度良い反面、残念な部分も多く感じられたので頑張ってGoogleさん言った感じです。
誰にでもおすすめだから使ったほうが良いよとは言い難いです。クセを理解したらものすごい便利です。
自分でソースを読み込ませる分、ハルシネーションは劇的に減りましたが、なくなったわけではありません。数字的な日程など言った面の間違いやソースに書かれてるに回答に含まれないってことが多々発生します。Geminiの精度問題は大きでしょう。
結局、何事にもNotionは欠かせなく便利ということです笑