먼저 “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”를 확인 가능한 형태로 적는다. 전체 평균만 보면 모바일·지역·계절·광고 구간의 차이가 가려진다. 수치가 변했다는 사실과 원인을 안다는 것은 다르다.
“관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”에 답하려면 다음 사실이 필요하다: 기간·검색어·페이지·기기·지역·광고 여부·노출·클릭·후속 행동과 콘텐츠 변경일, 사이트 장애·행사를 함께 기록한다.
처음의 “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”와 자료를 모은 뒤의 답을 나란히 놓는다. “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”에서 달라진 부분에는 새 근거와 시점을 붙이고 이전 설명은 삭제하지 않는다. 다음 담당자도 “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”의 답이 바뀐 이유를 찾을 수 있어야 한다.
“관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”를 즉시 확인·추가 자료 필요·관찰로 나눈다. “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”에서 지금 확정할 수 없는 항목에는 책임자와 회신·재평가 날짜를 붙인다. “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”의 핵심 행동을 방해하지 않는 주변 정보는 후속 목록으로 보낸다.
서두른 결론을 피하기 위한 금지선은 이렇다: 짧은 변화를 알고리즘 탓이나 콘텐츠 효과로 단정하지 않는다. 여러 변경을 동시에 하고 하나의 원인으로 보고하지 않는다.
“관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”를 다시 검토할 때 정상 사례만 사용하지 않는다. “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”의 자료가 일부 없거나 조건이 다른 장면에서도 과도한 단정 없이 다음 확인으로 이어지는지 본다. “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”에서 판단이 멈춘 위치와 필요한 담당자를 결과 기록에 추가한다.
결과는 데이터 범위·분류·변경·외부 변수·가설·다음 관찰을 담은 검색 분석표에 남긴다. 데이터 범위·분류·변경·외부 변수·가설·다음 관찰을 담은 검색 분석표에는 “관찰한 데이터 변화는 어떤 검색 질문과 페이지 변경, 외부 조건에서 생겼는가”의 근거와 확인일, 담당자, 적용 범위, 다음 점검을 적는다. 데이터 범위·분류·변경·외부 변수·가설·다음 관찰을 담은 검색 분석표에서 끝나지 않은 항목에는 필요한 자료와 연락 경로를 표시한다.
완료 여부는 다음 기준으로 판단한다: 측정 정의와 비교 조건이 같고 변화에 대한 복수 가설과 다음 검증 행동이 정해지면 보고에 사용한다.