정의
투티어 에이전트 검색은 AI 에이전트가 저비용 구조화 검색 API를 사용하여 초기 발견을 수행하고, 관련성 필터를 통과한 URL에 대해서만 전체 페이지 스크래퍼를 호출하는 아키텍처입니다.
심층 분석
비용 계산은 명확합니다. Firecrawl 같은 스크래핑 서비스는 연간 $83/100k 플랜에서 페이지당 $0.0016입니다. Scavio 같은 구조화 SERP API는 쿼리당 $0.005이지만 제목, URL, 스니펫, 메타데이터 등 10개의 결과를 반환하므로 대부분의 조회에 스크래핑이 필요 없습니다. 에이전트가 SERP 스니펫 데이터만으로 쿼리의 80%를 답변할 수 있다면, 답변당 유효 비용은 $0.016(스크래핑 10페이지)에서 $0.005(SERP 1회 호출)로 낮아집니다. 이 아키텍처에는 두 가지 결정 지점이 있습니다. 첫째, 에이전트는 검색 API를 호출하고 구조화된 결과 데이터를 검사합니다. 결과의 스니펫에 필요한 데이터(가격, 날짜, 정의)가 포함되어 있으면 에이전트가 추출하고 중단합니다. 둘째, 구조화된 데이터가 충분하지 않은 경우에만 에이전트가 상위 1-2개의 URL을 스크래퍼에 전달합니다. 이 이중 게이트 접근 방식은 정보 검색 작업에서 일반적으로 스크래퍼 호출을 75-90% 줄입니다. 전자상거래 가격 책정 작업의 경우, SERP 구조화 데이터(Google Shopping 결과의 가격 필드)는 60-70%의 경우 쿼리를 충족합니다. 전체 기사 내용이나 동적 데이터의 경우 항상 스크래퍼 계층이 필요합니다. 계층 선택 전에 에이전트의 쿼리 유형을 프로파일링하면 과도한 엔지니어링을 방지할 수 있습니다.
사용 예제
경쟁사 제품 가격 100개를 조사하는 에이전트는 100개 쿼리에 대해 SERP API를 호출($0.50)하고, 스니펫에 가격이 없는 22개만 스크래핑($0.035)하여 총 비용 $0.535로, 스크래핑 우선 방식($1.60)보다 저렴합니다.
플랫폼
투티어 에이전트 검색은(는) Scavio의 통합 API를 통해 액세스할 수 있는 다음 플랫폼에서 관련이 있습니다:
- amazon
관련 용어
에이전틱 검색 예산
에이전틱 검색 예산은 AI 에이전트가 단일 세션 또는 작업 실행 내에서 검색 API 호출에 사용할 수 있는 최대 크레딧 또는 달러 금액입니다....
구조화된 SERP 데이터
구조화된 SERP 데이터는 파싱이 필요한 원시 HTML 대신, 제목, URL, 스니펫, 위치, 가격, 평점, 날짜 등의 타입이 지정된 JSON 필드로 제공되는 검색 엔진 결과입니다....
Cloudflare 안티봇 우회
Cloudflare 안티봇 우회는 웹 스크래퍼가 Cloudflare의 봇 탐지 시스템을 피하기 위해 사용하는 기술을 의미하며, JavaScript 챌린지 해결, 핑거프린트 로테이션, 리지덴셜 프록시 라우팅 등을 포함...