다음을 통해 공유

ScrapingBee(독립 게시자)(미리 보기)

ScrapingBee는 웹에서 가장 강력한 웹 스크래핑 서비스입니다. 헤드리스 브라우저, 프록시, CAPTCHA를 처리하고, CSS 선택기를 사용하여 모든 웹 사이트에서 복잡한 구조적 정보를 추출하고, JavaScript 시나리오(클릭, 스크롤, 양식 채우기 등)를 실행합니다.

이 커넥터는 다음 제품 및 지역에서 사용할 수 있습니다.

서비스 클래스 Regions
Copilot Studio Premium 다음을 제외한 모든 Power Automate 지역 :
     - 미국 정부(GCC)
     - 미국 정부(GCC High)
     - 21Vianet에서 운영하는 중국 클라우드
     - 미국 국방부(DoD)
논리 앱 스탠다드 다음을 제외한 모든 Logic Apps 지역 :
     - Azure Government 지역
     - Azure 중국 지역
     - 미국 국방부(DoD)
Power Apps Premium 다음을 제외한 모든 Power Apps 지역 :
     - 미국 정부(GCC)
     - 미국 정부(GCC High)
     - 21Vianet에서 운영하는 중국 클라우드
     - 미국 국방부(DoD)
Power Automate Premium 다음을 제외한 모든 Power Automate 지역 :
     - 미국 정부(GCC)
     - 미국 정부(GCC High)
     - 21Vianet에서 운영하는 중국 클라우드
     - 미국 국방부(DoD)
연락처
이름 트로이 테일러
URL https://www.hitachisolutions.com
전자 메일 ttaylor@hitachisolutions.com
커넥터 메타데이터
게시자 트로이 테일러
웹 사이트 https://www.scrapingbee.com/
개인 정보 보호 정책 https://www.scrapingbee.com/privacy-policy/
카테고리 웹 사이트

연결을 만드는 중

커넥터는 다음 인증 유형을 지원합니다.
기본값 연결을 만들기 위한 매개 변수입니다. 모든 지역 공유할 수 없음

기본값

적용 가능: 모든 지역

연결을 만들기 위한 매개 변수입니다.

공유 가능한 연결이 아닙니다. 전원 앱이 다른 사용자와 공유되면 다른 사용자에게 새 연결을 명시적으로 만들라는 메시지가 표시됩니다.

이름 유형 Description 필수
API 키 시큐어스트링 (보안 문자열) 이 API의 API 키 진실

제한 한도

Name 호출 갱신 기간
연결당 API 호출 100 60초

동작

Google 검색 수행

Google Search 결과 페이지의 스크래치를 검색합니다.
사용량 가져오기

신용 사용량 및 동시성 사용에 대한 정보를 검색합니다.
스크랩 URL

스크랩하도록 요청된 URL을 가져오고 요청된 경우 JavaScript를 렌더링합니다.

Google 검색 수행

작업 ID:
SimpleSearch

Google Search 결과 페이지의 스크래치를 검색합니다.

매개 변수

Name 키 필수 형식 Description
Search
 search True string

Google 검색 창에 넣을 텍스트입니다.
국가 코드
 country_code string

요청을 받을 국가입니다.
Results
 nb_results integer

반환할 결과 수입니다.
페이지
 page integer

결과를 추출할 페이지 번호입니다.
Language
 language string

결과를 반환할 언어입니다.
추가 매개 변수
 extra_params string

제출할 추가 URL 매개 변수입니다.

반환

Name 경로 형식 Description
URL
 meta_data.url string

URL 주소입니다.
Results
 meta_data.number_of_results integer

결과 수입니다.
위치
 meta_data.location string

위치입니다.
유기적 결과
 meta_data.number_of_organic_results integer

유기 결과 수입니다.
광고
 meta_data.number_of_ads integer

광고 수입니다.
페이지
 meta_data.number_of_page integer

페이지 번호입니다.
결과 메시지 없음
 meta_data.no_results_message string

결과 없음 메시지입니다.
유기적 결과
 organic_results array of object
URL
 organic_results.url string

URL 주소입니다.
표시된 URL
 organic_results.displayed_url string

표시된 URL 주소입니다.
Description
 organic_results.description string

설명입니다.
추가 정보
 organic_results.extra_info string

추가 정보입니다.
Position
 organic_results.position integer

위치입니다.
제목
 organic_results.title string

제목입니다.
로컬 결과
 local_results array of string

로컬 결과입니다.
상위 광고
 top_ads string

상위 광고입니다.
하단 광고
 bottom_ads string

하단 광고입니다.
관련 쿼리
 related_queries array of object
문자 메시지
 related_queries.text string

텍스트입니다.
Position
 related_queries.position integer

위치입니다.
질문
 questions array of string

질문입니다.

사용량 가져오기

작업 ID:
UsageInformation

신용 사용량 및 동시성 사용에 대한 정보를 검색합니다.

반환

Name 경로 형식 Description
최대 API 크레딧
 max_api_credit integer

최대 API 크레딧입니다.
사용된 API 크레딧
 used_api_credit integer

사용된 API 크레딧입니다.
최대 동시성
 max_concurrency integer

최대 동시성입니다.
현재 동시성
 current_concurrency integer

현재 동시성입니다.
갱신 구독 날짜
 renewal_subscription_date string

갱신 구독 날짜입니다.

스크랩 URL

작업 ID:
HTML

스크랩하도록 요청된 URL을 가져오고 요청된 경우 JavaScript를 렌더링합니다.

매개 변수

Name 키 필수 형식 Description
URL
 url True string

긁을 URL입니다.
JS 렌더링
 render_js True boolean

헤드리스 브라우저에서 웹 사이트를 렌더링합니다.
JS 시나리오
 js_scenario string

렌더링하기 전에 JavaScript를 실행합니다.
Wait
 wait integer

렌더링하기 전에 대기할 시간입니다.
대기 대기
 wait_for string

특정 요소가 DOM에 나타날 때까지 기다립니다.
광고 차단
 block_ads boolean

광고를 차단할지 여부입니다.
리소스 차단
 block_resources boolean

모든 이미지 및 CSS를 차단할지 여부입니다.
창 너비
 window_width integer

사용할 창의 너비입니다.
창 높이
 window_height integer

사용할 창의 높이입니다.
프리미엄 프록시
 premium_proxy boolean

프록시를 사용하여 웹 사이트를 스크랩할지 여부입니다.
국가 코드
 country_code string

웹 사이트를 스크랩하는 데 사용할 프록시 국가입니다.
스텔스 프록시
 stealth_proxy boolean

스텔스 프록시를 사용하여 웹 사이트를 스크랩할지 여부입니다.
자체 프록시
 own_proxy string

사용할 고유한 프록시입니다.
규칙 추출
 extract_rules string

응답하기 전에 HTML을 구문 분석하는 추출 규칙입니다.
Screenshot
 screenshot boolean

요청된 웹 사이트의 스크린샷을 찍습니다.
스크린샷 선택기
 screenshot_selector string

특정 CSS 선택기의 스크린샷을 만듭니다.
스크린샷 전체 페이지
 screenshot_full_page boolean

전체 웹 사이트의 스크린샷을 찍습니다.
페이지 원본 반환
 return_page_source boolean

페이지 원본도 반환합니다.
세션 ID
 session_id integer

동일한 session_id 사용하는 모든 API 요청은 5분 동안 동일한 IP 주소를 통해 라우팅됩니다.
일시 중지
 timeout integer

1000에서 140000(기본값) 사이의 최대 ms 시간 제한 수입니다.
Cookies
 cookies string

웹 사이트에 전달할 사용자 지정 쿠키입니다.
Device
 device string

서버로 전송된 디바이스의 종류입니다.
사용자 지정 Google
 custom_google boolean

Google 또는 Google 하위 도메인에서 웹 페이지를 스크래핑하는 경우 true로 설정합니다.

반환

Name 경로 형식 Description
몸
 body string

본문입니다.
Cookies
 cookies array of object
이름
 cookies.name string

이름입니다.
가치
 cookies.value string

값입니다.
도메인
 cookies.domain string

도메인입니다.
경로
 cookies.path string

경로입니다.
만료
 cookies.expires float

만료되는 경우.
Size
 cookies.size integer

크기입니다.
HTTP만
 cookies.httpOnly boolean

HTTP만 있는지 여부입니다.
Secure
 cookies.secure boolean

안전한지 여부입니다.
Session
 cookies.session boolean

세션인지 여부입니다.
같은 파티
 cookies.sameParty boolean

같은 파티인지 여부입니다.
원본 구성표
 cookies.sourceScheme string

원본 구성표입니다.
원본 포트
 cookies.sourcePort integer

원본 포트입니다.
평가된 결과
 evaluate_results array of string

평가된 결과입니다.
나이
 headers.age string

나이.
캐시 제어
 headers.cache-control string

캐시 컨트롤입니다.
콘텐츠 인코딩
 headers.content-encoding string

콘텐츠 인코딩입니다.
콘텐츠 보안 정책
 headers.content-security-policy string

콘텐츠 보안 정책입니다.
콘텐츠 형식
 headers.content-type string

콘텐츠 형식입니다.
날짜
 headers.date string

날짜입니다.
ETag
 headers.etag string

eTag입니다.
참조자 정책
 headers.referrer-policy string

참조자 정책입니다.
서버
 headers.server string

서버입니다.
엄격한 전송 보안
 headers.strict-transport-security string

엄격한 전송 보안.
X 콘텐츠 형식 옵션
 headers.x-content-type-options string

x 콘텐츠 형식 옵션입니다.
X 프레임 옵션
 headers.x-frame-options string

x 프레임 옵션입니다.
X 일치 경로
 headers.x-matched-path string

일치하는 x 경로입니다.
X Powered By
 headers.x-powered-by string

구동되는 x입니다.
X 버셀 캐시
 headers.x-vercel-cache string

x Vercel 캐시입니다.
X Vercel ID
 headers.x-vercel-id string

x Vercel 식별자입니다.
유형
 type string

형식입니다.
IFrames
 iframes array of string

iFrames입니다.
XHR
 xhr array of object
URL
 xhr.url string

URL 주소입니다.
상태 코드
 xhr.status_code integer

상태 코드입니다.
메서드
 xhr.method string

메서드입니다.
나이
 xhr.headers.age string

나이.
캐시 제어
 xhr.headers.cache-control string

캐시 컨트롤입니다.
콘텐츠 길이
 xhr.headers.content-length string

콘텐츠 길이입니다.
콘텐츠 보안 정책
 xhr.headers.content-security-policy string

콘텐츠 보안 정책입니다.
콘텐츠 형식
 xhr.headers.content-type string

콘텐츠 형식입니다.
날짜
 xhr.headers.date string

날짜입니다.
ETag
 xhr.headers.etag string

eTag입니다.
참조자 정책
 xhr.headers.referrer-policy string

참조자 정책입니다.
서버
 xhr.headers.server string

서버입니다.
엄격한 전송 보안
 xhr.headers.strict-transport-security string

엄격한 전송 보안.
X 콘텐츠 형식 옵션
 xhr.headers.x-content-type-options string

X 콘텐츠 형식 옵션입니다.
X 프레임 옵션
 xhr.headers.x-frame-options string

X 프레임 옵션입니다.
X 일치 경로
 xhr.headers.x-matched-path string

X 일치 경로입니다.
X 버셀 캐시
 xhr.headers.x-vercel-cache string

X Vercel 캐시입니다.
X Vercel ID
 xhr.headers.x-vercel-id string

X Vercel 식별자입니다.
Access Control Allow Origin
 xhr.headers.access-control-allow-origin string

액세스 제어는 원본을 허용합니다.
Access Control 노출 헤더
 xhr.headers.access-control-expose-headers string

액세스 제어는 헤더를 노출합니다.
Alt SVC
 xhr.headers.alt-svc string

대체 SVC입니다.
Vary
 xhr.headers.vary string

다양합니다.
Via
 xhr.headers.via string

통해.
X Envoy 업스트림 서비스 시간
 xhr.headers.x-envoy-upstream-service-time string

X envoy 업스트림 서비스 시간입니다.
X Amazon 요청 ID
 xhr.headers.x-amzn-requestid string

X Amazon 요청 식별자입니다.
X Amazon Trace ID
 xhr.headers.x-amzn-trace-id string

X Amazon 추적 식별자입니다.
몸
 xhr.body string

본문입니다.
비용
 cost integer

비용입니다.
초기 상태 코드
 initial-status-code integer

초기 상태 코드입니다.
확인된 URL
 resolved-url string

확인된 URL 주소입니다.
Microdata
 metadata.microdata array of string

마이크로 데이터입니다.
JSON LD
 metadata.json-ld array of object
컨텍스트
 metadata.json-ld.@context string

컨텍스트입니다.
유형
 metadata.json-ld.@type string

형식입니다.
이름
 metadata.json-ld.name string

이름입니다.
URL
 metadata.json-ld.url string

URL 주소입니다.
Description
 metadata.json-ld.description string

설명입니다.
유형
 metadata.json-ld.mainEntityOfPage.@type string

형식입니다.
URL
 metadata.json-ld.mainEntityOfPage.url string

URL 주소입니다.
유형
 metadata.json-ld.image.@type string

형식입니다.
URL
 metadata.json-ld.image.url string

URL 주소입니다.
유형
 metadata.json-ld.publisher.@type string

형식입니다.
이름
 metadata.json-ld.publisher.name string

이름입니다.
URL
 metadata.json-ld.publisher.url string

URL 주소입니다.
같아짐
 metadata.json-ld.sameAs string

같습니다.
그래프 열기
 metadata.opengraph array of object
그래프 제목 열기
 metadata.opengraph.og:title string

그래프 열기 제목입니다.
그래프 설명 열기
 metadata.opengraph.og:description string

그래프 열기 설명입니다.
그래프 사이트 이름 열기
 metadata.opengraph.og:site_name string

그래프 열기 사이트 이름입니다.
그래프 URL 열기
 metadata.opengraph.og:url string

그래프 열기 URL 주소입니다.
그래프 이미지 열기
 metadata.opengraph.og:image string

그래프 열기 이미지입니다.
유형
 metadata.opengraph.@type string

형식입니다.
OG
 metadata.opengraph.@context.og string

Open Graph입니다.
더블린코어
 metadata.dublincore array of object
요소들
 metadata.dublincore.elements array of object
이름
 metadata.dublincore.elements.name string

이름입니다.
Content
 metadata.dublincore.elements.content string

콘텐츠입니다.
URI
 metadata.dublincore.elements.URI string

URI입니다.
Terms
 metadata.dublincore.terms array of string

용어입니다.