PHP Класс Spatie\Crawler\Crawler

Показать файл Открыть проект Примеры использования класса

Защищенные свойства (Protected)

Свойство Тип Описание
$baseUrl Url
$baseUrl Spatie\Crawler\Url;
$client GuzzleHttp\Client
$concurrency integer
$crawlObserver Spatie\Crawler\CrawlObserver
$crawlProfile Spatie\Crawler\CrawlProfile
$crawlQueue CrawlQueue
$crawledUrls Illuminate\Support\Collection

Открытые методы

Метод Описание
__construct ( Client $client )
__construct ( Client $client, integer $concurrency = 10 )
create ( ) : static
create ( array $clientOptions = [] ) : static
setConcurrency ( integer $concurrency )
setCrawlObserver ( Spatie\Crawler\CrawlObserver $crawlObserver )
setCrawlProfile ( Spatie\Crawler\CrawlProfile $crawlProfile )
startCrawling ( Url | string $baseUrl )

Защищенные методы

Метод Описание
addAllLinksToCrawlQueue ( string $html, Url $foundOnUrl )
crawlAllLinks ( string $html ) Crawl all links in the given html.
crawlUrl ( Url $url ) Crawl the given url.
extractAllLinks ( string $html ) : Collection
getAllLinks ( string $html ) : Url[] Get all links in the given html.
getCrawlRequests ( ) : Generato\Generator
handleResponse ( Psr\Http\Message\ResponseInterface | null $response, integer $index )
hasAlreadyCrawled ( Url $url ) : boolean Determine if the crawled has already crawled the given url.
normalizeUrl ( Url $url ) Normalize the given url.
normalizeUrl ( Url $url ) : Url
startCrawlingQueue ( )

Описание методов

__construct() публичный Метод

public __construct ( Client $client )
$client GuzzleHttp\Client

__construct() публичный Метод

public __construct ( Client $client, integer $concurrency = 10 )
$client GuzzleHttp\Client
$concurrency integer

addAllLinksToCrawlQueue() защищенный Метод

protected addAllLinksToCrawlQueue ( string $html, Url $foundOnUrl )
$html string
$foundOnUrl Url

crawlUrl() защищенный Метод

Crawl the given url.
protected crawlUrl ( Url $url )
$url Url

create() публичный статический Метод

public static create ( ) : static
Результат static

create() публичный статический Метод

public static create ( array $clientOptions = [] ) : static
$clientOptions array
Результат static

getCrawlRequests() защищенный Метод

protected getCrawlRequests ( ) : Generato\Generator
Результат Generato\Generator

handleResponse() защищенный Метод

protected handleResponse ( Psr\Http\Message\ResponseInterface | null $response, integer $index )
$response Psr\Http\Message\ResponseInterface | null
$index integer

hasAlreadyCrawled() защищенный Метод

Determine if the crawled has already crawled the given url.
protected hasAlreadyCrawled ( Url $url ) : boolean
$url Url
Результат boolean

normalizeUrl() защищенный Метод

Normalize the given url.
protected normalizeUrl ( Url $url )
$url Url

normalizeUrl() защищенный Метод

protected normalizeUrl ( Url $url ) : Url
$url Url
Результат Url

setConcurrency() публичный Метод

public setConcurrency ( integer $concurrency )
$concurrency integer

setCrawlObserver() публичный Метод

public setCrawlObserver ( Spatie\Crawler\CrawlObserver $crawlObserver )
$crawlObserver Spatie\Crawler\CrawlObserver

setCrawlProfile() публичный Метод

public setCrawlProfile ( Spatie\Crawler\CrawlProfile $crawlProfile )
$crawlProfile Spatie\Crawler\CrawlProfile

startCrawling() публичный Метод

public startCrawling ( Url | string $baseUrl )
$baseUrl Url | string

startCrawlingQueue() защищенный Метод

protected startCrawlingQueue ( )

Описание свойств

$baseUrl защищенное свойство

protected Url,Spatie\Crawler $baseUrl
Результат Url

$baseUrl защищенное свойство

protected Url;,Spatie\Crawler $baseUrl
Результат Spatie\Crawler\Url;

$client защищенное свойство

protected Client,GuzzleHttp $client
Результат GuzzleHttp\Client

$concurrency защищенное свойство

protected int $concurrency
Результат integer

$crawlObserver защищенное свойство

protected CrawlObserver,Spatie\Crawler $crawlObserver
Результат Spatie\Crawler\CrawlObserver

$crawlProfile защищенное свойство

protected CrawlProfile,Spatie\Crawler $crawlProfile
Результат Spatie\Crawler\CrawlProfile

$crawlQueue защищенное свойство

protected CrawlQueue,Spatie\Crawler $crawlQueue
Результат CrawlQueue

$crawledUrls защищенное свойство

protected Collection,Illuminate\Support $crawledUrls
Результат Illuminate\Support\Collection