Выдача картинок из Гугла
Мерзоциды внедрили живой поиск и теперь пагинация страниц отсутствует — всё подгружается на одной и той же странице.
Впрочем, это не помешало такой-то матери и FireBug узнать — как надо грести страницы парсером.
images?um=1&hl=ru&gbv=2&prmdo=1&as_st=y&tbs=isch%3A1&sa=1&q=запрос&aq=f&aqi=g10&aql=&oq=&gs_rfai=&biw=1600&bih=338&addh=36&ijn=bg&page=2&start=25
UPD: когда дело дошло до юнит-тестов, оказалось что результаты совершенно непредсказуемые. Без сохранения кук, прямой простой запрос с разных User-Agent возвращает разное количество результатов. От 21 до 460. Бред.
UPD2:
Это всё же User-Agent виноваты. Палю бесценный список кошерных для гугла агентов, на которые у него стоИт и он им отдаёт по 460 результатов картинок.
my $google_ua_list = [
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.19 (KHTML, like Gecko) Chrome/1.0.154.48 Safari/525.19',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.9) Gecko/2009040821 Firefox/3.0.9 (.NET CLR 3.5.30729)',
'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6 (.NET CLR 3.5.30729)',
'Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1) Gecko/20090624 Firefox/3.5 (.NET CLR 3.5.30729)'
];