[]
PHP/ curl ile source code çekmek
selamlar,
function get_html_content($url, $timeout=10) {
// fake user agent
$userAgent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
$string = curl_exec($ch);
curl_close($ch);
return $string;
}
kodum bu. çoğu sitede gayet rahat çekiyor olmama rağmen, bazı sitelerde sanırım site bir türlü önlem almış olduğu için çekemiyorum. bunun için farklı bir yöntem var mıdır?(file_get_contents ile hiç olmuyor)
function get_html_content($url, $timeout=10) {
// fake user agent
$userAgent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2) Gecko/20070219 Firefox/2.0.0.2';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
$string = curl_exec($ch);
curl_close($ch);
return $string;
}
kodum bu. çoğu sitede gayet rahat çekiyor olmama rağmen, bazı sitelerde sanırım site bir türlü önlem almış olduğu için çekemiyorum. bunun için farklı bir yöntem var mıdır?(file_get_contents ile hiç olmuyor)
eger her sitede 1 sayfa cekiyorsaniz bu onlem alinacak bir sey degil.
- orcu
(14.03.12 10:03:50)
ona önlem demiyoruz, bazı siteler cookie'yi şart koşar, bazıları geldiğin referans adresi kontrol eder falan. bir tek user-agent belirtmekle toparlanıcak olay değil curl. hatta bilmeyene curl öğretmek de etik değil ya.
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
curl_setopt($ch, CURLOPT_REFERER, $ref_url);
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
curl_setopt($ch, CURLOPT_REFERER, $ref_url);
- Dr. Kissingher
(14.03.12 10:09:24)
evet her sitede çektiğim belirli sayfalar var, ama bazı sitelerde dediğim gibi sitenin hiçbir sayfasınınn contentini çekemiyorum... öm attım sayfayı
- project zero (14.03.12 10:09:39)
1
