웹사이트에서 회사 정보를 추출하는 방법

웹사이트에서 회사 정보를 신뢰성 있게 추출하려면, 필요한 필드를 먼저 정의하고 관련 페이지를 수집한 다음, 각 사실을 출처와 함께 기록하고 결과를 사용하기 전에 시의성 있는 세부 정보를 확인하세요.

목표는 ‘재작성된 회사 프로필’이 아니라 구조화된 데이터입니다. 좋은 추출 워크플로는 사이트가 무엇을 말하는지, 어디에서 말하는지, 정보가 언제 게시되었는지, 그리고 어떤 필드는 아직 미확인인지까지 알려줍니다.

출력 스키마를 먼저 정의하기

스키마가 없으면 수기 리서치와 AI 도구는 눈에 띄는 것들을 대체로 그대로 모으는 경향이 있습니다. 사이트를 방문하기 전에 목적지가 무엇을 필요로 하는지 결정하세요.

기본적인 회사 데이터셋에는 다음이 포함될 수 있습니다:

영업 리서치라면 공개 이니셔티브, 채용 신호, 최근 발표를 추가할 수 있습니다. 디렉터리라면 카테고리, 위치, 연락처 필드만으로도 충분할 수 있습니다. 사용 사례가 요구하지 않는 개인 정보나 민감 정보를 수집하지 마세요.

유용한 사실을 담고 있는 페이지 매핑하기

홈페이지는 대개 모든 것을 담고 있지 않습니다. 메인 내비게이션을 검토하고 역할이 분명한 페이지를 수집하세요:

• About: 정체성, 연혁, 미션, 위치;
• 제품 또는 서비스 페이지: 제공 범위, 기능, 사용 사례;
• 솔루션 또는 산업 분야: 대상 및 시장 중심;
• 리더십: 이름과 직책;
• 뉴스룸 또는 프레스 키트: 날짜, 이정표, 승인된 설명;
• 채용: 팀의 언어와 공개 채용 정보;
• 연락처 및 푸터: 주소, 법적 명칭, 공개 채널;
• 이용약관 또는 개인정보 보호 페이지: 운영 주체와 관할.

로그인이 필요하거나 차단되었거나 삭제된 페이지라면 ‘이용 불가’로 표시하세요. 검색 스니펫으로 그 페이지의 내용을 추정하지 마세요.

출처(provenance)와 함께 주장(claim) 추출하기

모든 중요한 사실에 대해 다음을 저장하세요:

1. 필드 이름;
2. 추출된 값;
3. 정확한 출처 URL;
4. 페이지 제목 또는 섹션;
5. 페이지에 표시된 날짜(있는 경우);
6. 사용자가 접속한 날짜; 그리고
7. 신뢰도 또는 검토 상태.

이렇게 하면 복사한 텍스트 더미가 ‘감사 가능한 정보(auditable information)’가 됩니다. 또한 업데이트도 쉬워집니다. 리더가 바뀌거나 제품 이름이 변경되면, 어떤 출처로 다시 확인해야 하는지 알 수 있기 때문입니다.

사이트의 직접적인 설명은 분류와 분리해 두세요. 예를 들어, 어떤 사이트가 스스로를 “모바일 팀을 위한 운영 플랫폼”이라고 표현할 수 있습니다. 이를 “필드 서비스 관리 소프트웨어” 같은 데이터베이스 카테고리로 매핑하는 것은 해석이며, ‘해석’으로 라벨링되어야 합니다.

상충하는 정보 해결하기

회사 웹사이트에는 종종 모순이 있습니다. 보도자료는 오래된 직원 수를 쓰기도 하고, 지역 연락처 페이지에 본사가 지역 사무소로 표시될 수도 있으며, 리더십 바이오는 역할이 바뀐 뒤에도 남아 있을 수 있습니다.

다음 규칙을 사용하세요:

• 변경되는 사실에는 가장 최신의 1차 출처를 우선;
• 운영 주체와 주소에는 법적/연락처 페이지를 우선;
• 지표(metrics)에는 날짜를 함께 붙이세요;
• 충돌을 해결할 수 없는 경우 두 값을 모두 기록;
• 가장 편한 답을 고르기보다 해당 필드를 ‘사람 검토’ 대상으로 표시.

외부의 권위 있는 출처는 공개 제출 서류나 법적 정체성을 확인하는 데 도움이 될 수 있지만, ‘웹사이트 추출’ 데이터에 조용히 섞어 넣지 마세요. 출처 유형을 그대로 보존하세요.

AI는 ‘발명’이 아니라 ‘추출’에 사용하기

AI는 페이지가 길거나 여러 URL에 걸쳐 동일한 필드를 수집해야 할 때 특히 유용합니다. 모델에 엄격한 스키마를 제공하고, 누락된 정보에는 null 값을 요구하세요.

예를 들어 다음과 같은 프롬프트를 시도해 보세요:

제공된 웹페이지에 명시적으로 적힌 정보만 추출하세요. 필드, 값, 출처 URL, 페이지 날짜, 검토 메모가 포함된 표를 반환하세요. 필드가 누락된 경우 “not found”를 사용하세요. 본사, 설립 연도, 직원 수, 고객, 매출, 시장 포지션을 추정하지 마세요.

iWeaver의 AI Website Summarizer는 공개 웹페이지를 요약하는 데 도움이 될 수 있고, Company Research Generator는 여러 회사 출처를 구조화된 리서치로 정리하는 데 도움이 될 수 있습니다. 중요한 필드는 항상 원본 페이지와 대조하세요.

실제 추출 예시

가령 어떤 소프트웨어 회사의 홈페이지가 “독립 클리닉이 환자 커뮤니케이션을 조정하도록 돕는다”고 말한다고 해봅시다. 제품 페이지에는 예약 알림과 메시지 라우팅이 언급됩니다. About 페이지에는 본사의 위치로 보스턴이 기재되어 있는 반면, 2년 전 발표에서는 본사가 뉴욕이라고 부릅니다.

정답 추출은 코멘트 없이 보스턴을 선택하는 것이 아닙니다. 현재 About 페이지에서 보스턴을 기록하되, 오래된 뉴욕 값은 충돌 메모로 유지하고, 본사는 확인이 필요하다고 표시하세요. 제품 목록은 명시된 대로 캡처할 수 있습니다. “헬스케어 SaaS”는 유용한 카테고리가 될 수 있지만, 직접 인용이 아니라 ‘연구자가 지정한 분류’로 라벨링해야 합니다.

데이터를 정리하고 정규화하기

추출 후에는 의미를 바꾸지 않고 대/소문자, 국가 이름, 전화 형식, 카테고리 라벨을 표준화하세요. 내비게이션과 본문에 함께 나타나는 제품 이름은 중복 제거하세요. 데이터가 CRM이나 데이터베이스에 들어갈 경우, 정규화된 값과 함께 원본(raw) 값을 보존하세요.

기본 검증도 실행하세요: 필수 필드가 존재하는지, URL이 유효한지, 날짜가 한 가지 형식으로 들어갔는지, 예상대로 필드당 값이 하나인지, 지원되지 않는 숫자가 없는지 확인합니다. 반복 프로젝트라면 새 추출 결과를 이전 버전과 비교해 변경 사항이 검토를 받을 수 있도록 하세요.

추출은 첫 번째 단계일 뿐

구조화된 웹사이트 데이터는 디렉터리 레코드, 계정 브리프, 팩트 시트, 또는 문서 작성 워크플로에 활용될 수 있습니다. 다음 작업이 검증된 입력을 읽기 쉬운 회사 콘텐츠로 바꾸는 것이라면, 회사 정보 제너레이터가 하는 일을 확인해 보세요.

이 단계들 사이의 경계를 건너뛰지 마세요. 추출은 “출처가 무엇이라고 말하나?”를 묻는 과정입니다. 콘텐츠 생성은 “이 청중에게 승인된 사실을 어떻게 제시해야 하나?”를 묻는 과정입니다. 둘을 분리하면 두 출력물 모두 더 신뢰할 수 있게 됩니다.

가장 좋은 추출은 ‘가장 긴 것’이 아닙니다. 가장 좋은 추출은 추적 가능한 데이터셋입니다. 분명한 공백(갭), 날짜가 포함된 근거, 그리고 사람이든 다른 시스템이든 ‘어디서 나온 사실인지 추측하지 않고’ 활용할 수 있을 만큼 충분한 구조를 갖추고 있어야 합니다.