ScrapingBee (niezależny wydawca) (wersja zapoznawcza)
ScrapingBee to najbardziej zaawansowana usługa złomowania w Internecie. Będzie obsługiwać przeglądarki bez głowy, serwery proxy, CAPTCHAs, wyodrębnianie złożonych informacji strukturalnych z dowolnej witryny internetowej za pomocą selektorów CSS i uruchamianie scenariuszy JavaScript (kliknięcie, przewijanie, wypełnianie formularzy itp.).
Ten łącznik jest dostępny w następujących produktach i regionach:
| Usługa | Class | Regions |
|---|---|---|
| Copilot Studio | Premium | Wszystkie regiony usługi Power Automate z wyjątkiem następujących: - Rząd USA (GCC) - Rząd USA (GCC High) - China Cloud obsługiwane przez firmę 21Vianet - Departament Obrony USA (DoD) |
| Logic Apps | Standard | Wszystkie regiony usługi Logic Apps z wyjątkiem następujących: — Regiony platformy Azure Government — Regiony platformy Azure (Chiny) - Departament Obrony USA (DoD) |
| Power Apps | Premium | Wszystkie regiony usługi Power Apps z wyjątkiem następujących: - Rząd USA (GCC) - Rząd USA (GCC High) - China Cloud obsługiwane przez firmę 21Vianet - Departament Obrony USA (DoD) |
| Power Automate | Premium | Wszystkie regiony usługi Power Automate z wyjątkiem następujących: - Rząd USA (GCC) - Rząd USA (GCC High) - China Cloud obsługiwane przez firmę 21Vianet - Departament Obrony USA (DoD) |
| Kontakt | |
|---|---|
| Name | Troy Taylor |
| adres URL | https://www.hitachisolutions.com |
| ttaylor@hitachisolutions.com |
| Metadane łącznika | |
|---|---|
| Publisher | Troy Taylor |
| Witryna internetowa | https://www.scrapingbee.com/ |
| Zasady ochrony prywatności | https://www.scrapingbee.com/privacy-policy/ |
| Kategorie | Witryna internetowa |
Tworzenie połączenia
Łącznik obsługuje następujące typy uwierzytelniania:
| Wartość domyślna | Parametry tworzenia połączenia. | Wszystkie regiony | Nie można udostępniać |
Domyślny
Dotyczy: Wszystkie regiony
Parametry tworzenia połączenia.
Nie jest to możliwe do udostępnienia połączenie. Jeśli aplikacja Power App zostanie udostępniona innemu użytkownikowi, inny użytkownik zostanie poproszony o jawne utworzenie nowego połączenia.
| Name | Typ | Description | Wymagane |
|---|---|---|---|
| Klucz interfejsu API | securestring | Klucz interfejsu API dla tego interfejsu API | Prawda |
Limity ograniczania
| Nazwa | Wywołania | Okres odnowienia |
|---|---|---|
| Wywołania interfejsu API na połączenie | 100 | 60 sekund |
Akcje
| Adres URL złomu |
Pobiera adres URL żądany do złomowania i będzie renderować kod JavaScript, jeśli jest to wymagane. |
| Pobieranie użycia |
Pobierz informacje o użyciu środków i użyciu współbieżności. |
| Wykonywanie wyszukiwania Google |
Pobiera skrawek stron wyników wyszukiwania Google |
Adres URL złomu
Pobiera adres URL żądany do złomowania i będzie renderować kod JavaScript, jeśli jest to wymagane.
Parametry
| Nazwa | Klucz | Wymagane | Typ | Opis |
|---|---|---|---|---|
|
adres URL
|
url | True | string |
Adres URL, który chcesz zeskrobać. |
|
Renderowanie struktury JS
|
render_js | True | boolean |
Renderuj witrynę internetową w przeglądarce bez głowy. |
|
Scenariusz JS
|
js_scenario | string |
Wykonaj skrypt JavaScript przed renderowaniem. |
|
|
Wait
|
wait | integer |
Czas oczekiwania przed renderowaniem. |
|
|
Czekać
|
wait_for | string |
Poczekaj na wyświetlenie określonego elementu w modelu DOM. |
|
|
Blokuj reklamy
|
block_ads | boolean |
Czy blokować reklamy. |
|
|
Blokuj zasoby
|
block_resources | boolean |
Czy zablokować wszystkie obrazy i arkusze CSS. |
|
|
Szerokość okna
|
window_width | integer |
Szerokość okna do użycia. |
|
|
Wysokość okna
|
window_height | integer |
Wysokość okna do użycia. |
|
|
Premium Proxy
|
premium_proxy | boolean |
Czy używać serwera proxy do złomowania witryny internetowej. |
|
|
Kod kraju
|
country_code | string |
Kraj proxy do użycia do złomowania witryny internetowej. |
|
|
Serwer proxy niewidzialności
|
stealth_proxy | boolean |
Czy używać serwera proxy niewidzialności do złomowania witryny internetowej. |
|
|
Własny serwer proxy
|
own_proxy | string |
Własny serwer proxy do użycia. |
|
|
Wyodrębnianie reguł
|
extract_rules | string |
Reguły wyodrębniania, aby przeanalizować kod HTML przed odpowiedzią. |
|
|
Screenshot
|
screenshot | boolean |
Wykonaj zrzut ekranu żądanej witryny internetowej. |
|
|
Zrzut ekranu selektora
|
screenshot_selector | string |
Wykonaj zrzut ekranu przedstawiający określony selektor CSS. |
|
|
Zrzut ekranu przedstawiający pełną stronę
|
screenshot_full_page | boolean |
Wykonaj zrzut ekranu przedstawiający całą witrynę internetową. |
|
|
Źródło strony zwracanej
|
return_page_source | boolean |
Zwróć również źródło strony. |
|
|
Identyfikator sesji
|
session_id | integer |
Wszystkie żądania interfejsu API korzystające z tego samego session_id będą kierowane przez ten sam adres IP przez czas 5 minut. |
|
|
Przerwa czasowa
|
timeout | integer |
Maksymalna liczba ms limitu czasu z zakresu od 1000 do 140000 (wartość domyślna). |
|
|
Cookies
|
cookies | string |
Niestandardowy plik cookie do przekazania do witryny internetowej. |
|
|
Device
|
device | string |
Rodzaj urządzenia wysyłanego do serwera. |
|
|
Niestandardowa firma Google
|
custom_google | boolean |
Ustaw wartość true, jeśli zeskrobanie strony internetowej w google lub poddomenie Google. |
Zwraca
| Nazwa | Ścieżka | Typ | Opis |
|---|---|---|---|
|
Body
|
body | string |
Ciało. |
|
Cookies
|
cookies | array of object | |
|
Name
|
cookies.name | string |
Nazwa. |
|
Wartość
|
cookies.value | string |
Wartość. |
|
Domena
|
cookies.domain | string |
Domena. |
|
Ścieżka
|
cookies.path | string |
Ścieżka. |
|
Wygasa
|
cookies.expires | float |
Po wygaśnięciu. |
|
Rozmiar
|
cookies.size | integer |
Rozmiar. |
|
Tylko http
|
cookies.httpOnly | boolean |
Czy tylko HTTP. |
|
Bezpieczny
|
cookies.secure | boolean |
Bez względu na to, czy jest to bezpieczne. |
|
Session
|
cookies.session | boolean |
Czy sesja. |
|
Ta sama partia
|
cookies.sameParty | boolean |
Czy ta sama partia. |
|
Schemat źródłowy
|
cookies.sourceScheme | string |
Schemat źródłowy. |
|
Port źródłowy
|
cookies.sourcePort | integer |
Port źródłowy. |
|
Ocenione wyniki
|
evaluate_results | array of string |
Ocenione wyniki. |
|
Wiek
|
headers.age | string |
Wiek. |
|
Kontrolka pamięci podręcznej
|
headers.cache-control | string |
Kontrolka pamięci podręcznej. |
|
Kodowanie zawartości
|
headers.content-encoding | string |
Kodowanie zawartości. |
|
Zasady zabezpieczeń zawartości
|
headers.content-security-policy | string |
Zasady zabezpieczeń zawartości. |
|
Typ zawartości
|
headers.content-type | string |
Typ zawartości. |
|
Date
|
headers.date | string |
Data. |
|
ETag
|
headers.etag | string |
Element eTag. |
|
Zasady odwołujące się
|
headers.referrer-policy | string |
Zasady odwołujące się. |
|
Server
|
headers.server | string |
Serwer. |
|
Ścisłe zabezpieczenia transportu
|
headers.strict-transport-security | string |
Ścisłe bezpieczeństwo transportu. |
|
Opcje typu zawartości X
|
headers.x-content-type-options | string |
Opcje x typu zawartości. |
|
Opcje ramki X
|
headers.x-frame-options | string |
Opcje x ramki. |
|
Ścieżka dopasowana X
|
headers.x-matched-path | string |
Ścieżka dopasowana x. |
|
X obsługiwane przez
|
headers.x-powered-by | string |
X obsługiwane przez. |
|
Pamięć podręczna X Vercel
|
headers.x-vercel-cache | string |
Pamięć podręczna x Vercel. |
|
Identyfikator X Vercel
|
headers.x-vercel-id | string |
Identyfikator x Vercel. |
|
Typ
|
type | string |
Typ. |
|
Elementy IFrame
|
iframes | array of string |
Elementy iFrame. |
|
XHR
|
xhr | array of object | |
|
adres URL
|
xhr.url | string |
Adres URL. |
|
Kod stanu
|
xhr.status_code | integer |
Kod stanu. |
|
Metoda
|
xhr.method | string |
Metoda. |
|
Wiek
|
xhr.headers.age | string |
Wiek. |
|
Kontrolka pamięci podręcznej
|
xhr.headers.cache-control | string |
Kontrolka pamięci podręcznej. |
|
Długość zawartości
|
xhr.headers.content-length | string |
Długość zawartości. |
|
Zasady zabezpieczeń zawartości
|
xhr.headers.content-security-policy | string |
Zasady zabezpieczeń zawartości. |
|
Typ zawartości
|
xhr.headers.content-type | string |
Typ zawartości. |
|
Date
|
xhr.headers.date | string |
Data. |
|
ETag
|
xhr.headers.etag | string |
Element eTag. |
|
Zasady odwołujące się
|
xhr.headers.referrer-policy | string |
Zasady odwołujące się. |
|
Server
|
xhr.headers.server | string |
Serwer. |
|
Ścisłe zabezpieczenia transportu
|
xhr.headers.strict-transport-security | string |
Ścisłe bezpieczeństwo transportu. |
|
Opcje typu zawartości X
|
xhr.headers.x-content-type-options | string |
Opcje typu zawartości X. |
|
Opcje ramki X
|
xhr.headers.x-frame-options | string |
Opcje ramki X. |
|
Ścieżka dopasowana X
|
xhr.headers.x-matched-path | string |
Ścieżka dopasowania X. |
|
Pamięć podręczna X Vercel
|
xhr.headers.x-vercel-cache | string |
Pamięć podręczna X Vercel. |
|
Identyfikator X Vercel
|
xhr.headers.x-vercel-id | string |
Identyfikator X Vercel. |
|
Kontrola dostępu Zezwalaj na źródło
|
xhr.headers.access-control-allow-origin | string |
Kontrola dostępu zezwala na źródło. |
|
Kontrola dostępu uwidacznia nagłówki
|
xhr.headers.access-control-expose-headers | string |
Kontrola dostępu uwidacznia nagłówki. |
|
Alt SVC
|
xhr.headers.alt-svc | string |
The alt SVC. |
|
Vary
|
xhr.headers.vary | string |
Różnią się. |
|
Przez
|
xhr.headers.via | string |
Via. |
|
X Czas usługi nadrzędnej usługi envoy
|
xhr.headers.x-envoy-upstream-service-time | string |
Czas usługi nadrzędnej wysłana X. |
|
X identyfikator żądania Amazon
|
xhr.headers.x-amzn-requestid | string |
Identyfikator żądania X amazon. |
|
X identyfikator śledzenia amazon
|
xhr.headers.x-amzn-trace-id | string |
Identyfikator śledzenia X amazon. |
|
Body
|
xhr.body | string |
Ciało. |
|
Koszt
|
cost | integer |
Koszt. |
|
Początkowy kod stanu
|
initial-status-code | integer |
Początkowy kod stanu. |
|
Rozpoznany adres URL
|
resolved-url | string |
Rozpoznany adres URL. |
|
Mikrodata
|
metadata.microdata | array of string |
Mikrodata. |
|
JSON LD
|
metadata.json-ld | array of object | |
|
Context
|
metadata.json-ld.@context | string |
Kontekst. |
|
Typ
|
metadata.json-ld.@type | string |
Typ. |
|
Name
|
metadata.json-ld.name | string |
Nazwa. |
|
adres URL
|
metadata.json-ld.url | string |
Adres URL. |
|
Description
|
metadata.json-ld.description | string |
Opis. |
|
Typ
|
metadata.json-ld.mainEntityOfPage.@type | string |
Typ. |
|
adres URL
|
metadata.json-ld.mainEntityOfPage.url | string |
Adres URL. |
|
Typ
|
metadata.json-ld.image.@type | string |
Typ. |
|
adres URL
|
metadata.json-ld.image.url | string |
Adres URL. |
|
Typ
|
metadata.json-ld.publisher.@type | string |
Typ. |
|
Name
|
metadata.json-ld.publisher.name | string |
Nazwa. |
|
adres URL
|
metadata.json-ld.publisher.url | string |
Adres URL. |
|
Tak samo jak
|
metadata.json-ld.sameAs | string |
Tak samo jak. |
|
Otwórz graf
|
metadata.opengraph | array of object | |
|
Otwórz tytuł grafu
|
metadata.opengraph.og:title | string |
Tytuł Open Graph. |
|
Otwórz opis grafu
|
metadata.opengraph.og:description | string |
Opis programu Open Graph. |
|
Otwórz nazwę witryny programu Graph
|
metadata.opengraph.og:site_name | string |
Nazwa witryny Open Graph. |
|
Otwórz adres URL programu Graph
|
metadata.opengraph.og:url | string |
Adres URL programu Open Graph. |
|
Otwórz obraz programu Graph
|
metadata.opengraph.og:image | string |
Obraz Open Graph. |
|
Typ
|
metadata.opengraph.@type | string |
Typ. |
|
OG
|
metadata.opengraph.@context.og | string |
Otwórz graf. |
|
Dublincore
|
metadata.dublincore | array of object | |
|
Elements
|
metadata.dublincore.elements | array of object | |
|
Name
|
metadata.dublincore.elements.name | string |
Nazwa. |
|
Content
|
metadata.dublincore.elements.content | string |
Zawartość. |
|
URI
|
metadata.dublincore.elements.URI | string |
Identyfikator URI. |
|
Regulamin
|
metadata.dublincore.terms | array of string |
Terminy. |
Pobieranie użycia
Pobierz informacje o użyciu środków i użyciu współbieżności.
Zwraca
| Nazwa | Ścieżka | Typ | Opis |
|---|---|---|---|
|
Maksymalna kwota środków interfejsu API
|
max_api_credit | integer |
Maksymalne środki na korzystanie z interfejsu API. |
|
Używane środki interfejsu API
|
used_api_credit | integer |
Używane środki na korzystanie z interfejsu API. |
|
Maksymalna współbieżność
|
max_concurrency | integer |
Maksymalna współbieżność. |
|
Bieżąca współbieżność
|
current_concurrency | integer |
Bieżąca współbieżność. |
|
Data odnowienia subskrypcji
|
renewal_subscription_date | string |
Data subskrypcji odnowienia. |
Wykonywanie wyszukiwania Google
Pobiera skrawek stron wyników wyszukiwania Google
Parametry
| Nazwa | Klucz | Wymagane | Typ | Opis |
|---|---|---|---|---|
|
Search
|
search | True | string |
Tekst, który należy umieścić na pasku wyszukiwania Google. |
|
Kod kraju
|
country_code | string |
Kraj, z którego chcesz pochodzić wniosek. |
|
|
Results
|
nb_results | integer |
Liczba wyników do zwrócenia. |
|
|
Strona
|
page | integer |
Numer strony do wyodrębnienia wyników. |
|
|
Język
|
language | string |
Język do zwracania wyników. |
|
|
Dodatkowe parametry
|
extra_params | string |
Wszelkie dodatkowe parametry adresu URL do przesłania. |
Zwraca
| Nazwa | Ścieżka | Typ | Opis |
|---|---|---|---|
|
adres URL
|
meta_data.url | string |
Adres URL. |
|
Results
|
meta_data.number_of_results | integer |
Liczba wyników. |
|
Lokalizacja
|
meta_data.location | string |
Lokalizacja. |
|
Wyniki organiczne
|
meta_data.number_of_organic_results | integer |
Liczba wyników organicznych. |
|
Reklamy
|
meta_data.number_of_ads | integer |
Liczba reklam. |
|
Strona
|
meta_data.number_of_page | integer |
Numer strony. |
|
Brak komunikatu o wynikach
|
meta_data.no_results_message | string |
Komunikat o braku wyników. |
|
Wyniki organiczne
|
organic_results | array of object | |
|
adres URL
|
organic_results.url | string |
Adres URL. |
|
Wyświetlany adres URL
|
organic_results.displayed_url | string |
Wyświetlane adresy URL. |
|
Description
|
organic_results.description | string |
Opis. |
|
Dodatkowe informacje
|
organic_results.extra_info | string |
Dodatkowe informacje. |
|
Position
|
organic_results.position | integer |
Pozycja. |
|
Title
|
organic_results.title | string |
Tytuł. |
|
Wyniki lokalne
|
local_results | array of string |
Wyniki lokalne. |
|
Najważniejsze reklamy
|
top_ads | string |
Najlepsze reklamy. |
|
Dolne reklamy
|
bottom_ads | string |
Dolne reklamy. |
|
Powiązane zapytania
|
related_queries | array of object | |
|
Tekst
|
related_queries.text | string |
Tekst. |
|
Position
|
related_queries.position | integer |
Pozycja. |
|
Pytania
|
questions | array of string |
Pytania. |