どんな本？

「LLMの出力、なんか良い感じ」で本番投入してユーザーに怒られた経験、ありませんか。生成AIアプリの品質評価は、雰囲気で乗り切るには沼が深すぎます。この本はMLflowを軸に、実験管理からLLM-as-a-Judgeの設計、さらにはジャッジを評価するメタ評価まで、生成AI時代の地に足ついたMLOpsを叩き込んでくれる一冊。make_judgeとPython scorerの使い分けを学べば、「LLMの良し悪しをLLMに聞く」という哲学的に怪しい行為に、ちゃんと再現性とロジックを持たせられるようになります。評価者を評価する評価者を疑い始めた頃には、もう立派なLLMOpsエンジニア。