Sentence Transformers - 最先端の埋め込み

Transformers を使用した文およびテキスト埋め込みの Python フレームワーク。

Sentence Transformers の使用時期

使用する場合:

• RAG 用の高品質な埋め込みが必要
• 意味的類似度と検索
• テキストのクラスタリングと分類
• 多言語埋め込み (100+ 言語)
• ローカルで埋め込みを実行 (API なし)
• OpenAI 埋め込みの費用効果的な代替案

メトリクス:

• GitHub スター 15,700+
• 事前学習済みモデル 5,000+
• 100+ 言語対応
• PyTorch/Transformers ベース

代わりに使用する選択肢:

• OpenAI Embeddings: API ベースで最高品質が必要な場合
• Instructor: タスク固有の指示が必要な場合
• Cohere Embed: マネージドサービス

クイックスタート

インストール

pip install sentence-transformers

基本的な使い方

from sentence_transformers import SentenceTransformer

# モデルをロード
model = SentenceTransformer('all-MiniLM-L6-v2')

# 埋め込みを生成
sentences = [
    "This is an example sentence",
    "Each sentence is converted to a vector"
]

embeddings = model.encode(sentences)
print(embeddings.shape)  # (2, 384)

# コサイン類似度
from sentence_transformers.util import cos_sim
similarity = cos_sim(embeddings[0], embeddings[1])
print(f"Similarity: {similarity.item():.4f}")

人気のモデル

汎用

# 高速で良好な品質 (384 次元)
model = SentenceTransformer('all-MiniLM-L6-v2')

# より高い品質 (768 次元)
model = SentenceTransformer('all-mpnet-base-v2')

# 最高品質 (1024 次元、遅い)
model = SentenceTransformer('all-roberta-large-v1')

多言語

# 50+ 言語
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 100+ 言語
model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')

ドメイン特化型

# 法律ドメイン
model = SentenceTransformer('nlpaueb/legal-bert-base-uncased')

# 科学論文
model = SentenceTransformer('allenai/specter')

# コード
model = SentenceTransformer('microsoft/codebert-base')

意味的検索

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('all-MiniLM-L6-v2')

# コーパス
corpus = [
    "Python is a programming language",
    "Machine learning uses algorithms",
    "Neural networks are powerful"
]

# コーパスをエンコード
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)

# クエリ
query = "What is Python?"
query_embedding = model.encode(query, convert_to_tensor=True)

# 最も類似したものを検索
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=3)
print(hits)

類似度計算

# コサイン類似度
similarity = util.cos_sim(embedding1, embedding2)

# ドット積
similarity = util.dot_score(embedding1, embedding2)

# ペアワイズコサイン類似度
similarities = util.cos_sim(embeddings, embeddings)

バッチエンコーディング

# 効率的なバッチ処理
sentences = ["sentence 1", "sentence 2", ...] * 1000

embeddings = model.encode(
    sentences,
    batch_size=32,
    show_progress_bar=True,
    convert_to_tensor=False  # または PyTorch テンソルの場合は True
)

ファインチューニング

from sentence_transformers import InputExample, losses
from torch.utils.data import DataLoader

# 学習データ
train_examples = [
    InputExample(texts=['sentence 1', 'sentence 2'], label=0.8),
    InputExample(texts=['sentence 3', 'sentence 4'], label=0.3),
]

train_dataloader = DataLoader(train_examples, batch_size=16)

# 損失関数
train_loss = losses.CosineSimilarityLoss(model)

# 学習
model.fit(
    train_objectives=[(train_dataloader, train_loss)],
    epochs=10,
    warmup_steps=100
)

# 保存
model.save('my-finetuned-model')

LangChain 統合

from langchain_community.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-mpnet-base-v2"
)

# ベクトルストアで使用
from langchain_chroma import Chroma

vectorstore = Chroma.from_documents(
    documents=docs,
    embedding=embeddings
)

LlamaIndex 統合

from llama_index.embeddings.huggingface import HuggingFaceEmbedding

embed_model = HuggingFaceEmbedding(
    model_name="sentence-transformers/all-mpnet-base-v2"
)

from llama_index.core import Settings
Settings.embed_model = embed_model

# インデックスで使用
index = VectorStoreIndex.from_documents(documents)

モデル選択ガイド

モデル	次元	速度	品質	ユースケース
all-MiniLM-L6-v2	384	高速	良好	汎用、プロトタイピング
all-mpnet-base-v2	768	中程度	より高い	本番環境 RAG
all-roberta-large-v1	1024	遅い	最高	高精度が必要な場合
paraphrase-multilingual	768	中程度	良好	多言語

ベストプラクティス

1. all-MiniLM-L6-v2 から開始 - 良好なベースライン
2. 埋め込みを正規化 - コサイン類似度に最適
3. GPU が利用可能な場合は使用 - エンコーディングが 10 倍高速
4. バッチエンコーディング - より効率的
5. 埋め込みをキャッシュ - 再計算は高コスト
6. ドメイン用にファインチューン - 品質を向上
7. 異なるモデルをテスト - タスクによって品質が異なる
8. メモリを監視 - 大きなモデルはより多くの RAM が必要

パフォーマンス

モデル	速度 (文/秒)	メモリ	次元
MiniLM	~2000	120MB	384
MPNet	~600	420MB	768
RoBERTa	~300	1.3GB	1024

リソース

• GitHub: https://github.com/UKPLab/sentence-transformers ⭐ 15,700+
• モデル: https://huggingface.co/sentence-transformers
• ドキュメント: https://www.sbert.net
• ライセンス: Apache 2.0