검색엔진에 문서 등록하기 - IndexNow
지원되는 검색엔진
- Microsoft bing
- Naver
- 체코 Seznam.cz
- 러시아 Yandex
- Yep
핵심은, 저 중 하나만 등록을 해도 저 멤버들이 전부 같은 데이터를 받게 된다.
새 url이 생길때 뿐 아니라, 기존 url이 수정되거나 삭제되어 403/404 결과를 내는 것도 알려주는 것이 좋다.
검색엔진에 반영되는 속도 (이건 테스트 포스팅에 대한 실측치입니다.)
- 새 글의 경우
- bing - 대략 30분 걸려서 긁어 감
- Ahrefsbot (이건 Yep을 제공하는 크롤러) - 두 시간 걸려서 긁어감
- Naver를 비롯한 나머지 - 모름
- 인덱스된 글의 업데이트의 경우 (제목, 본문, 삭제 등)
- bing - 대략 30초 걸려서 가져감
- 나머지 - 안가져감
예상되는 크롤링 알고리즘
- 사이트마다 크롤링 우선순위가 달라서, 가져가는 주기가 다르다.
- bing의 웹사이트매니저의 세팅도 좀 영향이 있을 것 같긴 하다.
- 네이버의 경우, 사이트 자체의 값이 높아야 크롤링 우선순위가 높아질 것 같다.
- indexnow 로 url을 등록해봤자 저 뒷쪽에 추가되는 것 같음.
Google은?
- indexNow 를 고려한 적이 있었으나, 자체 크롤링 알고리즘 (페이지 랭크 등?)이 더 낫다고 생각하고 도입을 안하는 듯.
- 어쩌면 동일한 아키텍처를 공유하기 싫어서 그런건지도 모름.
- 자체 검색 API를 이용해서 등록하는 방법이 있다고 한다.
- Sitemap.xml 을 구글 Search Console에 등록하는 것 말고 실시간 업로드는 모르겠네…
운영하면서 발견한 이슈
- api로 등록을 해서 200 OK 를 받았지만, 정작 빙 웹마스터도구에서는 보이지 않는 경우가 잦음
- GET 으로 요청을 한 경우 등록이 조금 더 잘 되는 것 같기도…
- 어떤 기점을 이후로 요청을 씹는 것 같은 느낌.