bioRxiv データベース

概要

このスキルは、bioRxiv データベースからプレプリントを検索・取得するための効率的な Python ベースのツールを提供します。キーワード、著者、日付範囲、カテゴリーによる包括的な検索を可能にし、タイトル、アブストラクト、DOI、引用情報を含む構造化 JSON メタデータを返します。このスキルは、全文分析用の PDF ダウンロードもサポートしています。

このスキルを使用する場合

以下の場合にこのスキルを使用してください：

• 特定の研究分野の最新プレプリントを検索する場合
• 特定の著者による出版物を追跡する場合
• 体系的な文献レビューを実施する場合
• 時間経過による研究トレンドを分析する場合
• 引用管理用のメタデータを取得する場合
• 分析用のプレプリント PDF をダウンロードする場合
• bioRxiv の主題カテゴリーでペーパーをフィルタリングする場合

コア検索機能

1. キーワード検索

タイトル、アブストラクト、または著者リスト内の特定のキーワードを含むプレプリントを検索します。

基本的な使用方法：

python scripts/biorxiv_search.py \
  --keywords "CRISPR" "gene editing" \
  --start-date 2024-01-01 \
  --end-date 2024-12-31 \
  --output results.json

カテゴリーフィルター付き：

python scripts/biorxiv_search.py \
  --keywords "neural networks" "deep learning" \
  --days-back 180 \
  --category neuroscience \
  --output recent_neuroscience.json

検索フィールド： デフォルトでは、キーワードはタイトルとアブストラクト両方で検索されます。--search-fields でカスタマイズします：

python scripts/biorxiv_search.py \
  --keywords "AlphaFold" \
  --search-fields title \
  --days-back 365

2. 著者検索

日付範囲内における特定の著者によるすべてのペーパーを検索します。

基本的な使用方法：

python scripts/biorxiv_search.py \
  --author "Smith" \
  --start-date 2023-01-01 \
  --end-date 2024-12-31 \
  --output smith_papers.json

最近の出版物：

# 日付が指定されていない場合、デフォルトで過去1年間
python scripts/biorxiv_search.py \
  --author "Johnson" \
  --output johnson_recent.json

3. 日付範囲検索

特定の日付範囲内に投稿されたすべてのプレプリントを取得します。

基本的な使用方法：

python scripts/biorxiv_search.py \
  --start-date 2024-01-01 \
  --end-date 2024-01-31 \
  --output january_2024.json

カテゴリーフィルター付き：

python scripts/biorxiv_search.py \
  --start-date 2024-06-01 \
  --end-date 2024-06-30 \
  --category genomics \
  --output genomics_june.json

日数さかのぼりショートカット：

# 過去30日間
python scripts/biorxiv_search.py \
  --days-back 30 \
  --output last_month.json

4. DOI によるペーパー詳細情報

特定のプレプリントの詳細なメタデータを取得します。

基本的な使用方法：

python scripts/biorxiv_search.py \
  --doi "10.1101/2024.01.15.123456" \
  --output paper_details.json

完全な DOI URL も受け付けます：

python scripts/biorxiv_search.py \
  --doi "https://doi.org/10.1101/2024.01.15.123456"

5. PDF ダウンロード

任意のプレプリントの全文 PDF をダウンロードします。

基本的な使用方法：

python scripts/biorxiv_search.py \
  --doi "10.1101/2024.01.15.123456" \
  --download-pdf paper.pdf

バッチ処理： 複数の PDF については、検索結果 JSON から DOI を抽出し、各ペーパーをダウンロードします：

import json
from biorxiv_search import BioRxivSearcher

# 検索結果を読み込む
with open('results.json') as f:
    data = json.load(f)

searcher = BioRxivSearcher(verbose=True)

# 各ペーパーをダウンロード
for i, paper in enumerate(data['results'][:10]):  # 最初の10件
    doi = paper['doi']
    searcher.download_pdf(doi, f"papers/paper_{i+1}.pdf")

有効なカテゴリー

bioRxiv の主題カテゴリーで検索をフィルタリングします：

• animal-behavior-and-cognition
• biochemistry
• bioengineering
• bioinformatics
• biophysics
• cancer-biology
• cell-biology
• clinical-trials
• developmental-biology
• ecology
• epidemiology
• evolutionary-biology
• genetics
• genomics
• immunology
• microbiology
• molecular-biology
• neuroscience
• paleontology
• pathology
• pharmacology-and-toxicology
• physiology
• plant-biology
• scientific-communication-and-education
• synthetic-biology
• systems-biology
• zoology

出力フォーマット

すべての検索は以下の形式の構造化 JSON を返します：

{
  "query": {
    "keywords": ["CRISPR"],
    "start_date": "2024-01-01",
    "end_date": "2024-12-31",
    "category": "genomics"
  },
  "result_count": 42,
  "results": [
    {
      "doi": "10.1101/2024.01.15.123456",
      "title": "Paper Title Here",
      "authors": "Smith J, Doe J, Johnson A",
      "author_corresponding": "Smith J",
      "author_corresponding_institution": "University Example",
      "date": "2024-01-15",
      "version": "1",
      "type": "new results",
      "license": "cc_by",
      "category": "genomics",
      "abstract": "Full abstract text...",
      "pdf_url": "https://www.biorxiv.org/content/10.1101/2024.01.15.123456v1.full.pdf",
      "html_url": "https://www.biorxiv.org/content/10.1101/2024.01.15.123456v1",
      "jatsxml": "https://www.biorxiv.org/content/...",
      "published": ""
    }
  ]
}

一般的な使用パターン

文献レビュー ワークフロー

1. 広いキーワード検索：

python scripts/biorxiv_search.py \
  --keywords "organoids" "tissue engineering" \
  --start-date 2023-01-01 \
  --end-date 2024-12-31 \
  --category bioengineering \
  --output organoid_papers.json

2. 結果の抽出とレビュー：

import json

with open('organoid_papers.json') as f:
    data = json.load(f)

print(f"Found {data['result_count']} papers")

for paper in data['results'][:5]:
    print(f"\nTitle: {paper['title']}")
    print(f"Authors: {paper['authors']}")
    print(f"Date: {paper['date']}")
    print(f"DOI: {paper['doi']}")

3. 選択したペーパーをダウンロード：

from biorxiv_search import BioRxivSearcher

searcher = BioRxivSearcher()
selected_dois = ["10.1101/2024.01.15.123456", "10.1101/2024.02.20.789012"]

for doi in selected_dois:
    filename = doi.replace("/", "_").replace(".", "_") + ".pdf"
    searcher.download_pdf(doi, f"papers/{filename}")

トレンド分析

時間経過による出版頻度を分析して、研究トレンドを追跡します：

python scripts/biorxiv_search.py \
  --keywords "machine learning" \
  --start-date 2020-01-01 \
  --end-date 2024-12-31 \
  --category bioinformatics \
  --output ml_trends.json

その後、結果の時間的分布を分析します。

著者追跡

特定の研究者のプレプリントを監視します：

# 複数の著者を追跡
authors = ["Smith", "Johnson", "Williams"]

for author in authors:
    python scripts/biorxiv_search.py \
      --author "{author}" \
      --days-back 365 \
      --output "{author}_papers.json"

Python API の使用

より複雑なワークフローについては、BioRxivSearcher クラスを直接インポートして使用します：

from scripts.biorxiv_search import BioRxivSearcher

# 初期化
searcher = BioRxivSearcher(verbose=True)

# 複数の検索操作
keywords_papers = searcher.search_by_keywords(
    keywords=["CRISPR", "gene editing"],
    start_date="2024-01-01",
    end_date="2024-12-31",
    category="genomics"
)

author_papers = searcher.search_by_author(
    author_name="Smith",
    start_date="2023-01-01",
    end_date="2024-12-31"
)

# 特定のペーパー詳細を取得
paper = searcher.get_paper_details("10.1101/2024.01.15.123456")

# PDF をダウンロード
success = searcher.download_pdf(
    doi="10.1101/2024.01.15.123456",
    output_path="paper.pdf"
)

# 結果を一貫してフォーマット
formatted = searcher.format_result(paper, include_abstract=True)

ベストプラクティス

1. 適切な日付範囲を使用する: 日付範囲が小さいほど、検索は高速です。長期間のキーワード検索については、複数のクエリに分割することを検討してください。

2. カテゴリーでフィルタリングする: 可能な限り、--category を使用してデータ転送を削減し、検索精度を向上させます。

3. レート制限を尊重する: スクリプトには自動遅延（リクエスト間に 0.5 秒）が含まれています。大規模なデータ収集の場合は、追加の遅延を追加してください。

4. 結果をキャッシュする: 検索結果を JSON ファイルに保存して、API 呼び出しの繰り返しを避けます。

5. バージョン追跡: プレプリントは複数のバージョンを持つことができます。version フィールドは、どのバージョンが返されたかを示します。PDF URL にはバージョン番号が含まれます。

6. エラーを適切に処理する: 出力 JSON の result_count を確認します。空の結果は日付範囲の問題または API 接続の問題を示す可能性があります。

7. デバッグ用の詳細モード: --verbose フラグを使用して、API リクエストとレスポンスの詳細ログを確認します。

高度な機能

カスタム日付範囲ロジック

from datetime import datetime, timedelta

# 過去3ヶ月
end_date = datetime.now()
start_date = end_date - timedelta(days=90)

python scripts/biorxiv_search.py \
  --start-date {start_date.strftime('%Y-%m-%d')} \
  --end-date {end_date.strftime('%Y-%m-%d')}

結果の制限

返される結果の数を制限します：

python scripts/biorxiv_search.py \
  --keywords "COVID-19" \
  --days-back 30 \
  --limit 50 \
  --output covid_top50.json

速度向上のためのアブストラクト除外

メタデータのみが必要な場合：

# 注：アブストラクト の包含は Python API で制御されます
from scripts.biorxiv_search import BioRxivSearcher

searcher = BioRxivSearcher()
papers = searcher.search_by_keywords(keywords=["AI"], days_back=30)
formatted = [searcher.format_result(p, include_abstract=False) for p in papers]

プログラムによる統合

検索結果をダウンストリーム分析パイプラインに統合します：

import json
import pandas as pd

# 結果を読み込む
with open('results.json') as f:
    data = json.load(f)

# DataFrame に変換して分析
df = pd.DataFrame(data['results'])

# 分析
print(f"Total papers: {len(df)}")
print(f"Date range: {df['date'].min()} to {df['date'].max()}")
print(f"\nTop authors by paper count:")
print(df['authors'].str.split(',').explode().str.strip().value_counts().head(10))

# フィルタリングとエクスポート
recent = df[df['date'] >= '2024-06-01']
recent.to_csv('recent_papers.csv', index=False)

スキルのテスト

bioRxiv データベーススキルが正しく機能していることを確認するには、包括的なテストスイートを実行します。

前提条件：

uv pip install requests

テストを実行：

python tests/test_biorxiv_search.py

テストスイートは以下を検証します：

• 初期化: BioRxivSearcher クラスのインスタンス化
• 日付範囲検索: 特定の日付範囲内のペーパー取得
• カテゴリーフィルタリング: bioRxiv カテゴリーによるペーパーのフィルタリング
• キーワード検索: 特定のキーワードを含むペーパーの検出
• DOI ルックアップ: DOI による特定のペーパー取得
• 結果フォーマット: ペーパーメタデータの適切なフォーマット
• 区間検索: 時間間隔による最新ペーパー取得

期待される出力：

🧬 bioRxiv Database Search Skill Test Suite
======================================================================

🧪 Test 1: Initialization
✅ BioRxivSearcher initialized successfully

🧪 Test 2: Date Range Search
✅ Found 150 papers between 2024-01-01 and 2024-01-07
   First paper: Novel CRISPR-based approach for genome editing...

[... additional tests ...]

======================================================================
📊 Test Summary
======================================================================
✅ PASS: Initialization
✅ PASS: Date Range Search
✅ PASS: Category Filtering
✅ PASS: Keyword Search
✅ PASS: DOI Lookup
✅ PASS: Result Formatting
✅ PASS: Interval Search
======================================================================
Results: 7/7 tests passed (100%)
======================================================================

🎉 All tests passed! The bioRxiv database skill is working correctly.

注記: 特定の日付範囲またはカテゴリーでペーパーが見つからない場合、一部のテストは警告を表示することがあります。これは正常で、失敗を示すものではありません。

リファレンス ドキュメント

詳細な API 仕様、エンドポイント ドキュメント、応答スキーマについては、以下を参照してください：

• references/api_reference.md - 完全な bioRxiv API ドキュメント

リファレンス ファイルには以下が含まれます：

• 完全な API エンドポイント仕様
• 応答フォーマットの詳細
• エラー処理パターン
• レート制限ガイドライン
• 高度な検索パターン