Delen via

ScrapingBee (onafhankelijke uitgever) (preview)

ScrapingBee is de krachtigste webschrootservice op het web. Het verwerkt hoofdloze browsers, proxy's, CAPTCHAs, het extraheren van complexe gestructureerde informatie van elke website met CSS-selectors en het uitvoeren van JavaScript-scenario's (klikken, schuiven, formulier vullen, enzovoort).

Deze connector is beschikbaar in de volgende producten en regio's:

Dienst Class Regions
Copilot Studio Premium Alle Power Automate-regio's , met uitzondering van het volgende:
     - Amerikaanse overheid (GCC)
     - Amerikaanse overheid (GCC High)
     - China Cloud beheerd door 21Vianet
     - Us Department of Defense (DoD)
Logic-apps Standaard Alle Logic Apps-regio's , met uitzondering van het volgende:
     - Azure Government-regio's
     - Azure China-regio's
     - Us Department of Defense (DoD)
Power Apps Premium Alle Power Apps-regio's , met uitzondering van het volgende:
     - Amerikaanse overheid (GCC)
     - Amerikaanse overheid (GCC High)
     - China Cloud beheerd door 21Vianet
     - Us Department of Defense (DoD)
Power Automate Premium Alle Power Automate-regio's , met uitzondering van het volgende:
     - Amerikaanse overheid (GCC)
     - Amerikaanse overheid (GCC High)
     - China Cloud beheerd door 21Vianet
     - Us Department of Defense (DoD)
Contactpersoon
Naam Troy Taylor
URL https://www.hitachisolutions.com
E-mailen ttaylor@hitachisolutions.com
Connectormetagegevens
Uitgever Troy Taylor
Webpagina https://www.scrapingbee.com/
Privacybeleid https://www.scrapingbee.com/privacy-policy/
Categorieën Webpagina

Een verbinding maken

De connector ondersteunt de volgende verificatietypen:
standaard Parameters voor het maken van verbinding. Alle regio's Niet deelbaar

Verstek

Van toepassing: Alle regio's

Parameters voor het maken van verbinding.

Dit is geen deelbare verbinding. Als de power-app wordt gedeeld met een andere gebruiker, wordt een andere gebruiker gevraagd om expliciet een nieuwe verbinding te maken.

Naam Typologie Description Verplicht
API-sleutel beveiligde string De API-sleutel voor deze API Klopt

Beperkingslimieten

Name Aanroepen Verlengingsperiode
API-aanroepen per verbinding 100 60 seconden

Acties

Gebruik ophalen

Informatie ophalen over het gebruik van het tegoed en het gelijktijdigheidsgebruik.
Google-zoekopdracht uitvoeren

Hiermee haalt u een scrape van Google Search-resultatenpagina's op
Scrap-URL

Haalt de URL op die is aangevraagd om te scrapen en geeft JavaScript weer als dit wordt aangevraagd.

Gebruik ophalen

Bewerkings-id:
UsageInformation

Informatie ophalen over het gebruik van het tegoed en het gelijktijdigheidsgebruik.

Retouren

Name Pad Type Description
Maximaal API-tegoed
 max_api_credit integer

Het maximale API-tegoed.
Gebruikt API-tegoed
 used_api_credit integer

Het gebruikte API-tegoed.
Maximale gelijktijdigheid
 max_concurrency integer

De maximale gelijktijdigheid.
Huidige gelijktijdigheid
 current_concurrency integer

De huidige gelijktijdigheid.
Abonnementsdatum verlengen
 renewal_subscription_date string

De verlengingsdatum van het abonnement.

Google-zoekopdracht uitvoeren

Bewerkings-id:
SimpleSearch

Hiermee haalt u een scrape van Google Search-resultatenpagina's op

Parameters

Name Sleutel Vereist Type Description
Zoeken
 search True string

De tekst die u in de Google-zoekbalk zou plaatsen.
Landcode
 country_code string

Het land waar u het verzoek vandaan wilt halen.
Results
 nb_results integer

Het aantal te retourneren resultaten.
Page
 page integer

Het paginanummer waaruit resultaten moeten worden geëxtraheerd.
Language
 language string

De taal waarin de resultaten moeten worden geretourneerd.
Extra Params
 extra_params string

Eventuele extra URL-parameters die moeten worden verzonden.

Retouren

Name Pad Type Description
URL
 meta_data.url string

Het URL-adres.
Results
 meta_data.number_of_results integer

Het aantal resultaten.
Locatie
 meta_data.location string

De locatie.
Organische resultaten
 meta_data.number_of_organic_results integer

Het aantal organische resultaten.
Advertenties
 meta_data.number_of_ads integer

Het aantal advertenties.
Page
 meta_data.number_of_page integer

Het paginanummer.
Geen resultatenbericht
 meta_data.no_results_message string

Het bericht zonder resultaten.
Organische resultaten
 organic_results array of object
URL
 organic_results.url string

Het URL-adres.
Weergegeven URL
 organic_results.displayed_url string

De weergegeven URL-adressen.
Description
 organic_results.description string

De beschrijving.
Extra informatie
 organic_results.extra_info string

De extra informatie.
Position
 organic_results.position integer

De positie.
Title
 organic_results.title string

De titel.
Lokale resultaten
 local_results array of string

De lokale resultaten.
Topadvertenties
 top_ads string

De beste advertenties.
Onderste advertenties
 bottom_ads string

De onderste advertenties.
Verwante query's
 related_queries array of object
Tekst
 related_queries.text string

De tekst.
Position
 related_queries.position integer

De positie.
Vragen
 questions array of string

De vragen.

Scrap-URL

Bewerkings-id:
HTML

Haalt de URL op die is aangevraagd om te scrapen en geeft JavaScript weer als dit wordt aangevraagd.

Parameters

Name Sleutel Vereist Type Description
URL
 url True string

De URL die u wilt scrapen.
JS weergeven
 render_js True boolean

De website weergeven in een headless browser.
JS-scenario
 js_scenario string

Voer JavaScript uit voordat u de rendering uitvoert.
Wait
 wait integer

Tijd om te wachten voordat de weergave wordt weergegeven.
Wachten op
 wait_for string

Wacht tot een bepaald element wordt weergegeven in de DOM.
Advertenties blokkeren
 block_ads boolean

Of advertenties moeten worden geblokkeerd.
Resources blokkeren
 block_resources boolean

Of u alle afbeeldingen en CSS wilt blokkeren.
Breedte van venster
 window_width integer

De breedte van het venster dat moet worden gebruikt.
Hoogte van venster
 window_height integer

De hoogte van het venster dat moet worden gebruikt.
Premium-proxy
 premium_proxy boolean

Of u een proxy wilt gebruiken om een website te scrapen.
Landcode
 country_code string

Het proxyland dat moet worden gebruikt voor het scrapen van de website.
Verborgen proxy
 stealth_proxy boolean

Of u een verborgen proxy gebruikt om website te scrapen.
Eigen proxy
 own_proxy string

Uw eigen proxy die u wilt gebruiken.
Regels extraheren
 extract_rules string

Extractieregels om de HTML te parseren voordat ze reageren.
Screenshot
 screenshot boolean

Maak een schermopname van de aangevraagde website.
Schermopnamekiezer
 screenshot_selector string

Maak een schermopname van een bepaalde CSS-selector.
Schermopname van volledige pagina
 screenshot_full_page boolean

Maak een schermopname van de hele website.
Bron van retourpagina
 return_page_source boolean

De paginabron ook retourneren.
Sessie-id
 session_id integer

Alle API-aanvragen die gebruikmaken van dezelfde session_id worden gedurende vijf minuten gerouteerd via hetzelfde IP-adres.
Onderbreking
 timeout integer

Het maximum aantal ms time-outs, tussen 1000 en 140000 (standaard).
Cookies
 cookies string

Aangepaste cookie om door te geven aan de website.
Apparaat
 device string

Het type apparaat dat naar de server wordt verzonden.
Aangepaste Google
 custom_google boolean

Ingesteld op waar als u webpagina's op Google of een Google-subdomein plakt.

Retouren

Name Pad Type Description
Body
 body string

Het lichaam.
Cookies
 cookies array of object
Naam
 cookies.name string

De naam.
Waarde
 cookies.value string

De waarde.
Domein
 cookies.domain string

Het domein.
Path
 cookies.path string

Het pad.
Verloopt
 cookies.expires float

Wanneer deze verloopt.
Grootte
 cookies.size integer

De grootte.
Alleen HTTP
 cookies.httpOnly boolean

Of alleen HTTP.
Secure
 cookies.secure boolean

Of het veilig is.
Session
 cookies.session boolean

Of sessie.
Dezelfde partij
 cookies.sameParty boolean

Of hetzelfde feest.
Bronschema
 cookies.sourceScheme string

Het bronschema.
Bronpoort
 cookies.sourcePort integer

De bronpoort.
Geëvalueerde resultaten
 evaluate_results array of string

De geëvalueerde resultaten.
Leeftijd
 headers.age string

De leeftijd.
Cachebeheer
 headers.cache-control string

Het cachebeheer.
Inhoudscodering
 headers.content-encoding string

De inhoudscodering.
Beleid voor inhoudsbeveiliging
 headers.content-security-policy string

Het beveiligingsbeleid voor inhoud.
Inhoudstype
 headers.content-type string

Het inhoudstype.
Datum
 headers.date string

De datum.
ETag
 headers.etag string

De eTag.
Referrer-beleid
 headers.referrer-policy string

Het referrerbeleid.
Server
 headers.server string

De server.
Strikte transportbeveiliging
 headers.strict-transport-security string

De strikte transportbeveiliging.
Opties voor X-inhoudstype
 headers.x-content-type-options string

De opties voor het x-inhoudstype.
X-frameopties
 headers.x-frame-options string

De x-frameopties.
X-overeenkomend pad
 headers.x-matched-path string

Het x-overeenkomende pad.
X mogelijk gemaakt door
 headers.x-powered-by string

De x aangedreven door.
X Vercel Cache
 headers.x-vercel-cache string

De x Vercel-cache.
X Vercel-id
 headers.x-vercel-id string

De x Vercel-id.
Typologie
 type string

Het type.
IFrames
 iframes array of string

De iFrames.
XHR
 xhr array of object
URL
 xhr.url string

Het URL-adres.
Statuscode
 xhr.status_code integer

De statuscode.
Methode
 xhr.method string

De methode.
Leeftijd
 xhr.headers.age string

De leeftijd.
Cachebeheer
 xhr.headers.cache-control string

Het cachebeheer.
Lengte van inhoud
 xhr.headers.content-length string

De lengte van de inhoud.
Beleid voor inhoudsbeveiliging
 xhr.headers.content-security-policy string

Het beveiligingsbeleid voor inhoud.
Inhoudstype
 xhr.headers.content-type string

Het inhoudstype.
Datum
 xhr.headers.date string

De datum.
ETag
 xhr.headers.etag string

De eTag.
Referrer-beleid
 xhr.headers.referrer-policy string

Het referrerbeleid.
Server
 xhr.headers.server string

De server.
Strikte transportbeveiliging
 xhr.headers.strict-transport-security string

De strikte transportbeveiliging.
Opties voor X-inhoudstype
 xhr.headers.x-content-type-options string

De opties voor het X-inhoudstype.
X-frameopties
 xhr.headers.x-frame-options string

De X-frameopties.
X-overeenkomend pad
 xhr.headers.x-matched-path string

Het X-overeenkomende pad.
X Vercel Cache
 xhr.headers.x-vercel-cache string

De X Vercel-cache.
X Vercel-id
 xhr.headers.x-vercel-id string

De X Vercel-id.
Toegangsbeheer Oorsprong toestaan
 xhr.headers.access-control-allow-origin string

Het toegangsbeheer staat oorsprong toe.
Koppen beschikbaar maken voor toegangsbeheer
 xhr.headers.access-control-expose-headers string

In het toegangsbeheer worden headers weergegeven.
Alt SVC
 xhr.headers.alt-svc string

De alt-SVC.
Vary
 xhr.headers.vary string

De verschillen.
Via
 xhr.headers.via string

De via.
X Envoy Upstream-servicetijd
 xhr.headers.x-envoy-upstream-service-time string

De X-upvoy-servicetijd.
X Amazon Request ID
 xhr.headers.x-amzn-requestid string

De X Amazon-aanvraag-id.
X Amazon Trace ID
 xhr.headers.x-amzn-trace-id string

De X Amazon-tracerings-id.
Body
 xhr.body string

Het lichaam.
Kosten
 cost integer

De kosten.
Initiële statuscode
 initial-status-code integer

De initiële statuscode.
Opgeloste URL
 resolved-url string

Het opgeloste URL-adres.
Microdata
 metadata.microdata array of string

De microdata.
JSON LD
 metadata.json-ld array of object
Context
 metadata.json-ld.@context string

De context.
Typologie
 metadata.json-ld.@type string

Het type.
Naam
 metadata.json-ld.name string

De naam.
URL
 metadata.json-ld.url string

Het URL-adres.
Description
 metadata.json-ld.description string

De beschrijving.
Typologie
 metadata.json-ld.mainEntityOfPage.@type string

Het type.
URL
 metadata.json-ld.mainEntityOfPage.url string

Het URL-adres.
Typologie
 metadata.json-ld.image.@type string

Het type.
URL
 metadata.json-ld.image.url string

Het URL-adres.
Typologie
 metadata.json-ld.publisher.@type string

Het type.
Naam
 metadata.json-ld.publisher.name string

De naam.
URL
 metadata.json-ld.publisher.url string

Het URL-adres.
Hetzelfde als
 metadata.json-ld.sameAs string

Hetzelfde als.
Grafiek openen
 metadata.opengraph array of object
Grafiektitel openen
 metadata.opengraph.og:title string

De titel Open Graph.
Beschrijving van open grafiek
 metadata.opengraph.og:description string

De beschrijving van Open Graph.
Naam van graph-site openen
 metadata.opengraph.og:site_name string

De naam van de Open Graph-site.
Graph-URL openen
 metadata.opengraph.og:url string

Het URL-adres van Open Graph.
Grafiekafbeelding openen
 metadata.opengraph.og:image string

De afbeelding van Open Graph.
Typologie
 metadata.opengraph.@type string

Het type.
OG
 metadata.opengraph.@context.og string

De open grafiek.
Dublincore
 metadata.dublincore array of object
Elements
 metadata.dublincore.elements array of object
Naam
 metadata.dublincore.elements.name string

De naam.
Content
 metadata.dublincore.elements.content string

De inhoud.
URI
 metadata.dublincore.elements.URI string

De URI.
Terms
 metadata.dublincore.terms array of string

De voorwaarden.