mimirは、セマンティック類似性を利用してLLM APIの応答をキャッシュするプロキシツールです。これにより、類似のクエリに対してコストとレイテンシを削減します。セマンティックキャッシングを行い、完全一致だけでなく、意味的に類似したプロンプトにも対応。Ollamaを利用したローカルエンベディングの使用が可能で、Ope
コンテンツを見る