paper-pdf-downloader 코드 참조

import os, sys
SKILLS_HOME = os.environ.get('SKILLS_HOME', os.path.expanduser('~/projects/skills'))
sys.path.insert(0, SKILLS_HOME)

from paper_pdf_downloader import PaperPDFDownloader, download_pdf

# 방법 1: 편의 함수 사용
result = download_pdf(
    identifier='$ARGUMENTS',  # DOI, PMID, 또는 URL
    download_dir='./papers',
    unpaywall_email='your@email.com'
)

# 방법 2: 클래스 사용
downloader = PaperPDFDownloader(
    download_dir='./papers',
    unpaywall_email='your@email.com'  # 또는 환경변수 UNPAYWALL_EMAIL
)

# DOI로 다운로드
result = downloader.download('10.1371/journal.pone.0200001')

# PMID로 다운로드
result = downloader.download_by_pmid('28800616')

# 결과 확인
if result.success:
    print(f"다운로드 완료: {result.filepath}")
    print(f"소스: {result.source}")
else:
    print(f"실패: {result.error}")

# SSL 인증서 검증 비활성화
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

# requests 세션의 verify=False 기본값 설정
import requests as _requests
_orig_request = _requests.Session.request
def _patched_request(self, *args, **kwargs):
    kwargs.setdefault('verify', False)
    return _orig_request(self, *args, **kwargs)
_requests.Session.request = _patched_request

# cloudscraper → 일반 requests.Session 대체
# (cloudscraper의 자체 SSL 핸들링이 LibreSSL과 호환되지 않음)
import cloudscraper as _cloudscraper
def _fake_create_scraper(**kwargs):
    session = _requests.Session()
    session.headers.update({...})
    return session
_cloudscraper.create_scraper = _fake_create_scraper

min_request_delay: float = 0.5  # 최소 대기
max_request_delay: float = 2.0  # 최대 대기

blocking_indicators = [
    'cloudflare', 'access denied', 'forbidden', 'blocked',
    'captcha', 'verification', 'security check', 'bot detection',
    'just a moment', 'please wait', 'checking your browser',
    'enable javascript', 'browser check'
]

GET https://api.unpaywall.org/v2/{doi}?email={email}

GET https://api.crossref.org/works/{doi}

GET https://doi.org/{doi}
→ 리다이렉트 → 출판사 페이지

원본: https://onlinelibrary.wiley.com/doi/10.xxxx/xxx
시도1: https://onlinelibrary.wiley.com/doi/epdf/10.xxxx/xxx
시도2: https://onlinelibrary.wiley.com/doi/pdf/10.xxxx/xxx

1. PII (Publisher Item Identifier) 추출
2. https://www.sciencedirect.com/science/article/pii/{PII}/pdfft
3. XML/HTML 파싱으로 PDF 링크 추출

GET https://www.ncbi.nlm.nih.gov/pmc/articles/{pmcid}/pdf/

class WileyHandler:
    domains = ['wiley.com', 'onlinelibrary.wiley.com']
    # URL 패턴 변환: /doi/10.xxx → /doi/epdf/10.xxx, /doi/pdf/10.xxx

class ElsevierHandler:
    domains = ['sciencedirect.com', 'elsevier.com']
    # PII 추출 → /science/article/pii/{PII}/pdfft

pip install --break-system-packages -r ~/projects/skills/paper_pdf_downloader/requirements.txt

{download_dir}/download_failures.jsonl

{
  "timestamp": "2025-02-03T10:00:00",
  "identifier": "10.1234/example",
  "identifier_type": "doi",
  "doi": "10.1234/example",
  "error_message": "PDF not found from any source",
  "attempts": [
    {"source": "unpaywall", "success": false},
    {"source": "crossref", "success": false},
    {"source": "doi_resolver", "success": false}
  ],
  "download_time": 15.3
}

python3 scripts/download-paper-pdf.py \
  --doi "10.1234/example" \
  --output "/path/to/output.pdf" \
  --job-id "job-id" \
  --content-id "content-id" \
  --db-path "/path/to/dev.db"

python3 scripts/download-paper-pdf.py \
  --doi "10.1234/example" \
  --output "/path/to/output.pdf" \
  --job-id "meta-paperId" \
  --content-id "paperId" \
  --db-path "/path/to/dev.db" \
  --table "MetaPaper" \
  --pdf-url-prefix "/uploads/meta-papers"

1. PDF 수집 클릭 → download-paper-pdf.py 실행
2. 6단계 폴백 체인 시도
3. 모두 실패 → PdfDownloadButton이 자동 브라우저 캡처 시작
4. browser-capture-pdf.py 실행 (DOI → 웹페이지 → PDF 캡처)
5. 성공 시 DB 업데이트 + 상태 파일 갱신

downloader = PaperPDFDownloader(
    request_timeout=60,    # 기본 30초
    download_timeout=120,  # 기본 60초
)

export UNPAYWALL_EMAIL="your@email.com"

@dataclass
class DownloadResult:
    success: bool              # 성공 여부
    filepath: str = None       # 저장된 파일 경로
    source: str = None         # 다운로드 소스 (unpaywall, crossref, etc.)
    identifier: str = None     # 입력 식별자
    identifier_type: str = None # doi, pmid, url
    doi: str = None            # 정규화된 DOI
    file_size: int = None      # 파일 크기 (bytes)
    download_time: float = None # 소요 시간 (초)
    error_message: str = None  # 에러 메시지
    attempts: list = None      # 시도 목록