Запускаем поток id 68128 с настройками id 792 Время получения URL https://m.avito.ru/api/11/items?key=af0deccbgcgidddjgnvljitntccdduijhdinfgjgfjir¶ms[201]=1060&categoryId=24&locationId=637640&sort=date&display=list&limit=30 1.1294298171997 Проверяем объявление id: 2952148160 Проверка объявления id: 64185880 Дата последней проверки: 1693037091 URL объявления: https://www.avito.ru/item/show Объявление не обновляется, так как до конца публикации еще 807880, что больше time_to_ad_active 604800 Проверяем объявление id: 3114521503 Проверка объявления id: 62848466 Дата последней проверки: 1693914122 URL объявления: https://www.avito.ru/moskva/kvartiry/kvartira-studiya_30m_1847et._3114521503 URL объявления (сайт): https://onrealt.ru/moskva/snyat-kvartiru-posutochno/62848466 Необходима проверка соответствия объявления id: 62848466. Поиск пользователя сайта по телефону 79175513728 Пользователь найден, ID пользователя: 8496071 Локационные параметры небыли изменены. Сгенерированное имя: moskva-snyat-kvartiru-posutochno-novodmitrovskaya-ulitca-2k7 Таблицы соответствуют, проверка свойств объявления. Количество фотографий соответствует. Опции которые необходимо обновить в таблице: ad_3_1 price: 5190 date_added: 1694419321 Опции которые необходимо обновить в таблице: ad_id_link date_added: 1694419321 Обновление объявления id: 62848466 UPDATE `ad_3_1` SET `price` = "5190", `date_added` = "1694419321" where `id` = "1691060" limit 1 UPDATE `ad_id_link` SET `date_added` = "1694419321" where `id` = "62848466" limit 1 Расчет качества и рейтинга объявления. Общее время обновления объявления ID 3114521503 равно 11.70579791069 Проверка обработчиков опции требующих проверки. Успешная проверка опции price Успешная проверка опции room Успешная проверка опции floor Успешная проверка опции max_floor Успешная проверка опции all_area Успешная проверка опции rent_rate_q Успешная проверка опции payment_rate_q Успешная проверка опции value_pledge Успешная проверка опции berths Успешная проверка опции tv Успешная проверка опции internet Успешная проверка опции cable_tv Успешная проверка опции animals Успешная проверка опции children Успешная проверка опции stove Успешная проверка опции microwave Успешная проверка опции fridge Успешная проверка опции washer Успешная проверка опции hairdryer Успешная проверка опции iron Успешная проверка опции txt_info Успешная проверка опции type Успешная проверка опции type_rent_q Успешная проверка опции date_added Успешная проверка опции txt_info_mobile Успешная проверка опции txt_info_desctop Всего добавлено 0 объявлений. Использовано 9 mb памяти. Проверяем объявление id: 3136558160 Проверка объявления id: 64653518 Дата последней проверки: 1693910965 URL объявления: https://www.avito.ru/moskva_zelenograd/kvartiry/1-k._kvartira_50m_912et._3136558160 URL объявления (сайт): https://onrealt.ru/zelenograd/snyat-kvartiru-posutochno/64653518 Необходима проверка соответствия объявления id: 64653518. Поиск пользователя сайта по телефону 79587942140 Пользователь найден, ID пользователя: 14191367 Локационные параметры небыли изменены. Сгенерированное имя: zelenograd-snyat-kvartiru-posutochno-zelenograd-k128 Таблицы соответствуют, проверка свойств объявления. Количество фотографий соответствует. Опции которые необходимо обновить в таблице: ad_3_1 price: 2800 date_added: 1694419320 Опции которые необходимо обновить в таблице: ad_adv_options txt_info: Большая,светлая,чистая квартира в центре города Цена зависит от количества суток Сутки -3500 15суток-3000 35суток-2800 txt_info_mobile: Большая,светлая,чистая квартира в центре города Цена зависит от количества суток Сутки -3500 15суток-3000 35суток-2800 txt_info_desctop: Большая,светлая,чистая квартира в центре города Цена зависит от количества суток Сутки -3500 15суток-3000 35суток-2800 Опции которые необходимо обновить в таблице: ad_id_link date_added: 1694419320 Обновление объявления id: 64653518 UPDATE `ad_3_1` SET `price` = "2800", `date_added` = "1694419320" where `id` = "1728785" limit 1 UPDATE `ad_id_link` SET `date_added` = "1694419320" where `id` = "64653518" limit 1 Расчет качества и рейтинга объявления. Общее время обновления объявления ID 3136558160 равно 2.3314518928528 Проверка обработчиков опции требующих проверки. Успешная проверка опции room Успешная проверка опции berths Успешная проверка опции balcony Всего добавлено 0 объявлений. Использовано 9.25 mb памяти. Проверяем объявление id: 3421148037 Попытка добавления нового объявления id: 3421148037 URL объявления: https://www.avito.ru/moskva/kvartiry/3-k._kvartira_75m_1116et._3421148037 Поиск пользователя сайта по телефону 79663859820 Пользователь найден, ID пользователя: 15098459 Использование геокодера, индексации. Поиск локационных параметров по координатам: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ используя данные из json массива https://geocode-maps.yandex.ru/1.x/?geocode=37.660808,55.871016&format=json&results=10 {"region":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430"},"locality":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","kind":"locality","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041c\u043e\u0441\u043a\u0432\u0430"},{"kind":"locality","name":"\u041c\u043e\u0441\u043a\u0432\u0430"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041c\u043e\u0441\u043a\u0432\u0430","Locality":{"LocalityName":"\u041c\u043e\u0441\u043a\u0432\u0430"}}}}}},"name":"\u041c\u043e\u0441\u043a\u0432\u0430","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"37.32606 55.49133","upperCorner":"37.967799 55.957565"}},"uri":"ymapsbm1:\/\/geo?data=Cgg1MzE2NjM5MxIa0KDQvtGB0YHQuNGPLCDQnNC-0YHQutCy0LAiCg14eBZCFfUFX0I,","Point":{"pos":"37.617644 55.755819"}}}}} Имя региона 'Москва' проверяем, используется ли данный регион. Регион был успешно идентифицирован, номер региона: 3 Населенный пункт Москва был найден в базе данных id: 1 Проверка форм названия Москва Определяем локацию типа 3, ключевое слово для поиска 'округ': Локация типа 3 была обнаружена в ответе геокодера, имя локации: Северо-Восточный административный округ Локация типа 3 была найдена в базе данных, id: 8 Определяем локацию типа 4, ключевое слово для поиска 'район': Локация типа 4 была обнаружена в ответе геокодера, имя локации: Бабушкинский район Локация типа 4 была найдена в базе данных, id: 19 Ищем ближайшую станцию метро, локацию типа 5: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ Станция метро была обнаружена в ответе геокодера, имя: метро Бабушкинская Станция метро была обнаружена в локальном массиве, id: 52 Вычисляем растояние до станции метро, расстояние равно: 270 Улица была идентифицирована, имя: улица Менжинского ищем ее в базе данных. Поиск и проверка уникальности функцией checkLocationSystem() Была обнаружена одна локация с названием улица Менжинского, id: 133 Улица была найдена, id улицы улица Менжинского: 133 Номер был идентифицирован, имя: улица Менжинского, 38к2 ищем его в базе данных. Номер был найден, id номера улица Менжинского, 38к2: 4240681 Сгенерированное имя: moskva-snyat-kvartiru-na-dlitelnyj-srok-ulitca-menzhinskogo-38k2 Делаем первичную запись в базу данных объявлений. Время обработки изображений объявления ID 3421148037, равно 0.0033669471740723, всего было обработано 0 изображений. Завершаем процесс добавления объявления сменой статуса в таблицах ad_3_1 и indexed_ad на 1 https://onrealt.ru/moskva/snyat-kvartiru-na-dlitelnyj-srok/66901378 Расчет качества и рейтинга объявления. Общее время получения объявления ID 3421148037 равно 10.105475902557 Проверка обработчиков опции требующих проверки. Успешная проверка опции room Успешная проверка опции living_area Успешная проверка опции kitchen_area Успешная проверка опции rent_rate_q Успешная проверка опции payment_rate_q Успешная проверка опции commission_type Успешная проверка опции building_type Успешная проверка опции loggia Успешная проверка опции value_commission Успешная проверка опции counterparty Успешная проверка опции repairs Всего добавлено 1 объявлений. Использовано 10.75 mb памяти. Проверяем объявление id: 3650452091 Проверка объявления id: 66682752 Дата последней проверки: 1693670617 URL объявления: https://www.avito.ru/moskva/kvartiry/1-k._kvartira_36m_125et._3650452091 Объявление не обновляется, так как до конца публикации еще 1795681, что больше time_to_ad_active 604800 Проверяем объявление id: 3352717684 Попытка добавления нового объявления id: 3352717684 URL объявления: https://www.avito.ru/moskva/kvartiry/2-k._kvartira_445m_55et._3352717684 Поиск пользователя сайта по телефону 79168640541 Пользователь найден, ID пользователя: 16113746 Имя пользователя изменено с Агентство недвижимости "Деловой центр "Дом" на Пользователь Использование геокодера, индексации. Поиск локационных параметров по координатам: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ используя данные из json массива https://geocode-maps.yandex.ru/1.x/?geocode=37.81283,55.812904&format=json&results=10 {"region":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430"},"locality":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","kind":"locality","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041c\u043e\u0441\u043a\u0432\u0430"},{"kind":"locality","name":"\u041c\u043e\u0441\u043a\u0432\u0430"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041c\u043e\u0441\u043a\u0432\u0430","Locality":{"LocalityName":"\u041c\u043e\u0441\u043a\u0432\u0430"}}}}}},"name":"\u041c\u043e\u0441\u043a\u0432\u0430","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"37.32606 55.49133","upperCorner":"37.967799 55.957565"}},"uri":"ymapsbm1:\/\/geo?data=Cgg1MzE2NjM5MxIa0KDQvtGB0YHQuNGPLCDQnNC-0YHQutCy0LAiCg14eBZCFfUFX0I,","Point":{"pos":"37.617644 55.755819"}}}}} Имя региона 'Москва' проверяем, используется ли данный регион. Регион был успешно идентифицирован, номер региона: 3 Населенный пункт Москва был найден в базе данных id: 1 Проверка форм названия Москва Определяем локацию типа 3, ключевое слово для поиска 'округ': Локация типа 3 была обнаружена в ответе геокодера, имя локации: Восточный административный округ Локация типа 3 была найдена в базе данных, id: 1 Определяем локацию типа 4, ключевое слово для поиска 'район': Локация типа 4 была обнаружена в ответе геокодера, имя локации: район Гольяново Локация типа 4 была найдена в базе данных, id: 7 Ищем ближайшую станцию метро, локацию типа 5: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ Станция метро была обнаружена в ответе геокодера, имя: метро Щёлковская Станция метро была обнаружена в локальном массиве, id: 9 Вычисляем растояние до станции метро, расстояние равно: 940 Улица была идентифицирована, имя: Чусовская улица ищем ее в базе данных. Поиск и проверка уникальности функцией checkLocationSystem() Была обнаружена одна локация с названием Чусовская улица, id: 478 Улица была найдена, id улицы Чусовская улица: 478 Номер был идентифицирован, имя: Чусовская улица, 4к1 ищем его в базе данных. Номер был найден, id номера Чусовская улица, 4к1: 4325744 Сгенерированное имя: moskva-snyat-kvartiru-na-dlitelnyj-srok-chusovskaya-ulitca-4k1 Делаем первичную запись в базу данных объявлений. Время обработки изображений объявления ID 3352717684, равно 0.001431941986084, всего было обработано 0 изображений. Завершаем процесс добавления объявления сменой статуса в таблицах ad_3_1 и indexed_ad на 1 https://onrealt.ru/moskva/snyat-kvartiru-na-dlitelnyj-srok/66901379 Расчет качества и рейтинга объявления. Общее время получения объявления ID 3352717684 равно 3.469908952713 Проверка обработчиков опции требующих проверки. Успешная проверка опции room Успешная проверка опции repairs Успешная проверка опции combined_bathroom Всего добавлено 2 объявлений. Использовано 11.25 mb памяти. Проверяем объявление id: 3240497613 Попытка добавления нового объявления id: 3240497613 URL объявления: https://www.avito.ru/moskva/kvartiry/1-k._kvartira_33m_29et._3240497613 Поиск пользователя сайта по телефону 79067390956 Пользователь найден, ID пользователя: 16215646 Имя пользователя изменено с Агентство недвижимости "Мой Дом" на Агентство недвижимости \"Мой Дом\" Использование геокодера, индексации. Поиск локационных параметров по координатам: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ используя данные из json массива https://geocode-maps.yandex.ru/1.x/?geocode=37.725029,55.619117&format=json&results=10 {"region":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430"},"locality":{"name":"\u041c\u043e\u0441\u043a\u0432\u0430","data":{"GeoObject":{"metaDataProperty":{"GeocoderMetaData":{"precision":"other","text":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","kind":"locality","Address":{"country_code":"RU","formatted":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","Components":[{"kind":"country","name":"\u0420\u043e\u0441\u0441\u0438\u044f"},{"kind":"province","name":"\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043a\u0440\u0443\u0433"},{"kind":"province","name":"\u041c\u043e\u0441\u043a\u0432\u0430"},{"kind":"locality","name":"\u041c\u043e\u0441\u043a\u0432\u0430"}]},"AddressDetails":{"Country":{"AddressLine":"\u0420\u043e\u0441\u0441\u0438\u044f, \u041c\u043e\u0441\u043a\u0432\u0430","CountryNameCode":"RU","CountryName":"\u0420\u043e\u0441\u0441\u0438\u044f","AdministrativeArea":{"AdministrativeAreaName":"\u041c\u043e\u0441\u043a\u0432\u0430","Locality":{"LocalityName":"\u041c\u043e\u0441\u043a\u0432\u0430"}}}}}},"name":"\u041c\u043e\u0441\u043a\u0432\u0430","description":"\u0420\u043e\u0441\u0441\u0438\u044f","boundedBy":{"Envelope":{"lowerCorner":"37.32606 55.49133","upperCorner":"37.967799 55.957565"}},"uri":"ymapsbm1:\/\/geo?data=Cgg1MzE2NjM5MxIa0KDQvtGB0YHQuNGPLCDQnNC-0YHQutCy0LAiCg14eBZCFfUFX0I,","Point":{"pos":"37.617644 55.755819"}}}}} Имя региона 'Москва' проверяем, используется ли данный регион. Регион был успешно идентифицирован, номер региона: 3 Населенный пункт Москва был найден в базе данных id: 1 Проверка форм названия Москва Определяем локацию типа 3, ключевое слово для поиска 'округ': Локация типа 3 была обнаружена в ответе геокодера, имя локации: Южный административный округ Локация типа 3 была найдена в базе данных, id: 4 Определяем локацию типа 4, ключевое слово для поиска 'район': Локация типа 4 была обнаружена в ответе геокодера, имя локации: район Орехово-Борисово Северное Локация типа 4 была найдена в базе данных, id: 47 Ищем ближайшую станцию метро, локацию типа 5: Запрос к api работающего на основе yandex geocoder https://8-index.onrealt.ru/api-geocoder/ Станция метро была обнаружена в ответе геокодера, имя: метро Домодедовская Станция метро была обнаружена в локальном массиве, id: 98 Вычисляем растояние до станции метро, расстояние равно: 1040 Улица была идентифицирована, имя: Борисовский проезд ищем ее в базе данных. Поиск и проверка уникальности функцией checkLocationSystem() Была обнаружена одна локация с названием Борисовский проезд, id: 1226 Улица была найдена, id улицы Борисовский проезд: 1226 Номер был идентифицирован, имя: Борисовский проезд, 36к2 ищем его в базе данных. Номер был найден, id номера Борисовский проезд, 36к2: 2825824 Сгенерированное имя: moskva-snyat-kvartiru-na-dlitelnyj-srok-borisovskij-proezd-36k2 Делаем первичную запись в базу данных объявлений. Время обработки изображений объявления ID 3240497613, равно 2.8610229492188E-6, всего было обработано 0 изображений. Завершаем процесс добавления объявления сменой статуса в таблицах ad_3_1 и indexed_ad на 1 https://onrealt.ru/moskva/snyat-kvartiru-na-dlitelnyj-srok/66901380 Расчет качества и рейтинга объявления. Общее время получения объявления ID 3240497613 равно 2.6378309726715 Проверка обработчиков опции требующих проверки. Успешная проверка опции parking_multilevel Успешная проверка опции repairs Успешная проверка опции passenger_elevator Всего добавлено 3 объявлений. Использовано 11.25 mb памяти. Получена команда завершения процесса индексации. Время получения кода всех объявлений согласно условиям: 30.390872001648 Размер части файла логов log/11092023/68128/log_1.txt 25592 Страниц обработано 1, максимум страниц 50. Получена команда завершения процесса индексации. Достигнуты условия завершения цикла. Общее время работы индексации: 31.594851016998