[Crawler] Récupérer en PHP, les informations minimales d’un site internet en PHP

Posté le 1 août 2016

Salut à tous,

Je ne serais pas très très long aujourd'hui, mais j'aimerais vous partager ce petit bout de code, que j'ai réalisé pour répondre à un besoin simple, mais nécessaire.

Avec ce petit bout de code, vous aurez la possibilité de récupérer assez simplement les données d'un site internet :

Nom du site
Description du site
Icone du site
Nom de domaine

Pour cela, rien de plus simple :

function getShortInfoSite($url){
		  $dom    = new DOMDocument;
		  $datas  = array();
		  //Extraction du domaine
		  if (!preg_match("/^(.*)\:\/\/([0-9A-Za-z^_\.-]{0,20}?)\//", $url.'/', $domain)) return -1;
		  $url = $domain[1].'://'.$domain[2];
		  //Recuperation du contenu de la page d'accueil
		  try {
					$html = @file_get_contents($url);
					@$dom->loadHTML($html);
					$finder = new DomXPath($dom);
					//Recuperation des differents elements : favicon, title, description ...
					$icons  = $finder->query("//link[contains(@rel, 'ico')]");
					$desc   = $finder->query("//meta[contains(@name, 'description')]");
					$titles = $finder->query("//title");
					$datas['url']           = $url;
					$datas['icon']          = @$icons[0]->getAttribute('href');
					$datas['title']         = @$titles[0]->nodeValue;
					$datas['domain']        = $domain[1];
					$datas['description']   = @$desc[0]->getAttribute('content');
					return $datas;
		  }
		  catch(Exception $e){
				  return $e;
		  }
}

Vous incluez cette fonction PHP dans votre code, puis vous l'appelez de cette manière :

getShortInfoSite("http://dyrk.org/indexi22.php")

Voilà, vous pourrez désormais récupérer un joli tableau dans ce goût-là :

News Crawler, favicon, PHP

2 comments

Davaine

25 janvier 2018 at 21 h 22 min

Bonjour,

Merci pour cet article, est qu’il existe une solution , pour « scraper ou crawler » : titre du site, ulr, description, (balise ) et plus dur
image ( 1 ou deux) email de contact , adresse facebook , tel … d’un site internet via un moteur de recherche avec requête différente à chaque fois

Peux être plutôt partir sur un développement qui « scrap / crawler » : titre du site, ulr, description, (balise ) ,
avec des requêtes : » fabricant poele de masse », « fabricant poele pellet » …
100 1er résultat

et ensuite un autre dev : qui « scrap / crawle », les 100 sites :
1 ou deux images,
email de contact ,
url facebook ,
tel etc …

est ce qu’à votre avis c ‘est possible, si oui avec quelle technologie, ou piste de développement ?

Si ce n est pas clair jai un screenshot

Merci d avance à vous

Répondre
Patrick Lefebvre

11 mai 2018 at 18 h 38 min

La première réponse à cette question, c’est un métamoteur de recherche.
Par exemple Qwant ou Duckduckgo. L’intérêt d’un métamoteur c’est qu’il va « casser » le rang attribué par les moteurs (et qui privilégie leurs sponsors), et mettre les moteurs de recherche en concurrence.
Tu vas obtenir une page de résultats.

A toi de l’enregistrer sur ta machine, puis de la parser (l’analyser par un programme) pour en tirer les informations que tu désires, et, par exemple, les afficher.

Il y a bien sûr des programmes commerciaux qui le font. Tout a un prix.

Répondre

Dyrk

Do you really know ?

[Crawler] Récupérer en PHP, les informations minimales d’un site internet en PHP

2 comments

Laisser une réponse Annuler la réponse