Запускаем поток id 61959 с настройками id 75 Обработка страниц location 4584 Открываем URL: https://www.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat®ion=4584&totime=86400&location[0]=4584 -1602333009.1563 По данному URL обнаружено 28 объявлений. Попытка добавления объявления id: 237432272 URL объявления: https://www.cian.ru/sale/flat/237432272 Объявление в базе данных не обнаружено, вносим первичную запись. Поиск пользователя сайта по телефону Пользователь найден, ID пользователя: 90240 Координаты метки не определены. Строка с адресом не была определена. Регион не был обнаружен. Регион не был обнаружен, завершаем индексацию объявления. Общее время получения объявления ID 237432272 равно 0.30751585960388 Попытка добавления объявления id: 240720292 URL объявления: https://www.cian.ru/sale/flat/240720292 Объявление в базе данных не обнаружено, вносим первичную запись. Поиск пользователя сайта по телефону 78612056558 Пользователь не найден, создаем нового пользователя, ID нового пользователя: 10998348 Координаты метки определены как 39.0483311495, 45.0248970537 Строка с адресом была определена: Краснодарский край, Краснодар, Карасунский, микрорайон ХБК, Сормовская улица, 1/3 Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ используя данные из json массива https://geocode-maps.yandex.ru/1.x/?geocode=39.0483311495,45.0248970537&format=json&results=10 {"locality":{"name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","kind":"locality","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u042e\u0436\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439"},{"kind":"area","name":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440"},{"kind":"locality","name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","SubAdministrativeArea":{"SubAdministrativeAreaName":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","Locality":{"LocalityName":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440"}}}}}}},"name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"38.846791 44.969055","upperCorner":"39.153835 45.142987"}},"Point":{"pos":"38.975313 45.03547"}}}},"area":{"name":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","kind":"area","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u042e\u0436\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439"},{"kind":"area","name":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","SubAdministrativeArea":{"SubAdministrativeAreaName":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440"}}}}}},"name":"\u0433\u043e\u0440\u043e\u0434\u0441\u043a\u043e\u0439 \u043e\u043a\u0440\u0443\u0433 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"38.647904 44.968214","upperCorner":"39.385178 45.219803"}},"Point":{"pos":"39.048328 45.071186"}}}},"region":{"name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","kind":"province","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u042e\u0436\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439"}}}}},"name":"\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u0438\u0439 \u043a\u0440\u0430\u0439","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"36.52117 43.250258","upperCorner":"41.740426 47.03082"}},"Point":{"pos":"39.610422 45.544904"}}}}} Имя региона 'Краснодарский край' проверяем, используется ли данный регион. Регион был успешно идентифицирован, номер региона: 4 Населенный пункт Краснодар был найден в базе данных id: 3 Проверка форм названия Краснодар Определяем локацию типа 3, ключевое слово для поиска 'округ': Локация типа 3 была обнаружена в ответе геокодера, имя локации: Карасунский округ Локация типа 3 была найдена в базе данных, id: 11 Определяем локацию типа 4, ключевое слово для поиска 'микрорайон': Локация типа 4 была обнаружена в ответе геокодера, имя локации: микрорайон Хлопчато-бумажный Комбинат Локация типа 4 была найдена в базе данных, id: 138 Улица была идентифицирована, имя: Сормовская улица ищем ее в базе данных. Поиск и проверка уникальности функцией checkLocationSystem() Была обнаружена одна локация с названием Сормовская улица, id: 538 Улица была найдена, id улицы Сормовская улица: 538 Номер был идентифицирован, имя: Сормовская улица, 1/3 ищем его в базе данных. Номер был найден, id номера Сормовская улица, 1/3: 1046690 Имя сгенерировано: krasnodar-kypit-kvartiru-v-novostrojke-sormovskaya-ulitca-1-3 Делаем первичную запись в базу данных объявлений. Время обработки изображений объявления ID 240720292 равно 1.7732820510864, всего было обработано 1 изображений. Завершаем процесс добавления объявления сменой статуса в таблицах ad_4_15 и indexed_ad на 1 https://onrealt.ru/krasnodar/kypit-kvartiru-v-novostrojke/28290823 Проверка обработчиков опции требующих проверки. Успешная проверка опции type Успешная проверка опции type_sale_q Успешная проверка опции type_ad_sales Успешная проверка опции deadline_quarter Успешная проверка опции deadline_year Успешная проверка опции type_sale Расчет качества и рейтинга объявления. Общее время получения объявления ID 240720292 равно 4.3213038444519