가장 먼저 표시되는 답변 크롤러
질문에 답하고 검색 색인을 구축하기 위해 페이지를 가져오고 출처를 인용합니다. 이를 차단하면 검색 답변에서 제외됩니다.
무료 도구
내 robots.txt가 허용하는 AI 크롤러 확인
도메인을 입력하세요. 당사에서 robots.txt를 읽고 각 AI 크롤러의 자체 토큰과 대조하여 어떤 크롤러가 허용되거나 차단되는지, 그리고 이를 결정한 규칙을 보여줍니다.
- 도메인 입력
- robots.txt 읽기
- 크롤러별 일치 확인
- 허용 또는 차단됨
수행하는 작업별로 분류된 모든 AI 크롤러
개별적으로 관리되는 학습용 크롤러
모델을 학습시키기 위해 텍스트를 수집하며 방문자를 보내지 않습니다. 자체 토큰을 사용하므로 독립적으로 결정을 내릴 수 있습니다.
모든 판정 뒤에 있는 규칙
각 결과에는 이를 결정한 파일의 행이 표시되며, 읽을 수 없는 robots.txt는 측정되지 않음으로 표시되어 절대 허용으로 계산되지 않습니다.
작동 방식
귀하의 도메인에서 /robots.txt를 한 번 가져와 크롤러 자체와 동일한 방식으로 각 크롤러의 사용자 에이전트 토큰에 그룹을 적용합니다. 오류가 발생하거나 응답하지 않는 파일은 측정되지 않음으로 보고됩니다.
자주 묻는 질문
robots.txt 검사는 어떤 AI 크롤러를 테스트하나요?
OpenAI, Anthropic, Google, Meta, Perplexity, Apple, Microsoft 등 당사 사이트를 위해 유지 관리하는 명단에 있는 모든 AI 크롤러입니다. 고객님의 robots.txt를 각 크롤러의 사용자 에이전트 토큰과 대조하고 판정 옆에 이를 결정한 규칙을 보여줍니다.
답변 크롤러와 학습용 크롤러의 차이점은 무엇인가요?
답변 크롤러는 누군가가 묻고 있는 질문에 답하거나 검색 색인을 구축하기 위해 페이지를 가져오고, 출처를 인용하고 링크를 다시 연결합니다. 학습용 크롤러는 모델 학습용 텍스트를 수집할 뿐 방문자를 보내지 않습니다. 이들은 서로 다른 토큰을 사용하므로(OAI-SearchBot과 GPTBot은 모두 OpenAI 소유) 사이트에서 하나는 환영하고 다른 하나는 거절할 수 있습니다.
크롤러가 측정되지 않음으로 표시되는 이유는 무엇인가요?
서버 오류가 발생했거나 응답하지 않아 robots.txt를 읽을 수 없었기 때문입니다. 연결할 수 없는 robots.txt를 만난 크롤러는 차단된 것으로 간주해야 하며, 당사는 확인하지 못한 파일을 허가로 보고하지 않습니다.
AI 학습용 크롤러를 차단해야 하나요?
그것은 비즈니스 결정이며, robots.txt를 사용하면 크롤러별로 결정을 내릴 수 있습니다. 하지만 답변 크롤러를 차단하면 제공되는 답변에서 내 사이트가 제외되므로 해당 그룹을 먼저 확인하세요.