기술 구성요소

• 데이터 식별 및 분산 다운로드
• 데이터 변환 관리, 웹페이지 구조 식별
• HTML 및 수집 데이터 정제
• 수집 데이터의 구조적 저장과 검색

동적 웹 데이터 추출 시스템 아키텍처

• 대규모 데이터 수집 지원을 위한 스케일 아웃
• 로드 밸런서 분산시스템 성능 최적화
• 워크 벤치의 직관적인 UX를 통한 수집 작업 관리
• 자동 생성된 규칙에 대한 시뮬레이션 및 디버깅 가능
• Extraction Handler는 사용자 행동 규칙과 관련된 모든 프로세스 처리
• Agent-worker Manager는 데이터 추출 작업을 Worker에 할당하고 각 프로세스의 부하 관리 진행

대용량 비정형 데이터 처리 아키텍처

기술 상세