Сотбіт: Парсер контенту – сайти, excel, xml, yml, csv, rss

Виправлені дрібні баги

- Додана можливість копіювання парсерів - На сторінці парсера реалізований аджакс парсинг та прелоадер - Видалення тегів у титлах, мета-описі та ключовиках - Додані дод. поля у фільтр та сортування списку парсерів

• - Додана можливість парсингу не тільки за rss стрічками, а й по сторінках новин
• - Додано можливість встановлення часу затримки між запитами до джерела, щоб обійти систему контролю активності
• - Виправлені крейди баги

- Виправлення дрібних багів

- Додано функціонал парсингу каталогів - Виправлення дрібних багів

- Коригування роботи прелоадера - Виправлення дрібних багів

- Скориговано роботу парсера з-під агента

- Виправлення дрібних багів

- Виправлення роботи парсера під час роботи в демо-режимі

- Виправлено проблему кодування на деяких версіях php

- Додано функціонал авторизації на сторонніх сайтах.
- Додано можливість зміни цін за кількома умовами.
- Фікс дрібних багів

- Виправлення помилки: Клас невизначений.

- Змінено порядок видалення тегів та елементів

- Видалення зайвих прогалин в описі

- Усунений баг при копіюванні парсерів

- Доданий парсинг картинок, з розширенням у верхньому регістрі

- Налагоджено працездатність модуля при php 5.4

- Виправлені помилки під час авторизації парсера

- Збільшено розміри полів для видалення елементів та атрибутів - Додана можливість парсити властивості за найменуванням через тег br - Усунення дрібних багів

- Додана можливість парсингу назви товару з детальної сторінки - Автоматичне створення унікального символьного коду - Збереження активної вкладки при натисканні кнопки "Застосувати" - Виправлено баг при видаленні атрибутів елементів

- При page-парсингу першоджерело залишається незмінним, тобто не переводиться в нижній регістр

- Усунено дрібний баг при визначенні унікальності новини/статті

- Усунена помилка при парсингу властивостей через тег br

- Виправлений баг html типу опису

- Додана дата активності при парсингу типу Каталог - Усунуті дрібні баги

- Виправлення міні-бага при парсі властивостей за назвою

- Парсинг кількох розділів одночасно - Додана можливість парсингу цін в оффери - Додано значення властивостей за умовчанням

- Додана можливість парсингу кириличних доменів

- Усунені крейди баги

- Незначні доопрацювання та виправлення

Невеликі доробки

- Доданий вибір типу унікалізації в режимі page та rss - Можливість парсингу в режимі page, якщо посилання знаходиться у самому селекторі

- Для page парсингу усунуто помилки відносних посилань

- Парсер працює з урахуванням мета-тегу base для відносних посилань

- Доробка page парсера, якщо батько = посилання

- Усунення дрібних багів

- Додана можливість встановлення формату цін

- Оновлення інформаційного тексту

- Усунено баг видалення тегів

- усунення недоробок

- Виправлення дрібних багів

- Підтримка https протоколу

- Виправлення міні-бага з тегом base

- Усунуто помилку занесення символьного коду при запуску парсера по агенту (rss і page)

- Додана можливість додавати найменування атрибуту до посторінкової навігації.

- Робота з куками

- Незначні покращення парсингу детального опису. Тепер парсити можна кількома селекторами.

- Незначні доопрацювання

- Дрібні доопрацювання

- Перероблено візуалізацію властивостей. Тепер управляти парсингом властивостей зручніше та простіше - З'явилася можливість додавати нові властивості прямо з парсеру - Можливість парсингу властивостей з прев'ю - Додана підтримка HTML властивостей - Додано підтримку властивостей типу файл(F). Тепер ви можете легко вантажити інструкції та інші документи - Округлення цін - Усунення дрібних багів

- Додано роботу з властивостями типу Довідник(highload) - Впроваджено подію модель - Тепер усі файли в описі зберігаються на сервер через Медіабібліотеку і ви легко зможете видалити будь-який файл - Дрібні доопрацювання та покращення

- Парсинг офферів табличного виду - Можливість видалення, деактивації товарів, що не беруть участь у поточному розвантаженні

- Незначні доопрацювання

- Значення властивостей за замовчуванням винесено в окремий блок

- Вилучення з дод. картинок детальної картинки

- З'явилася можливість видаляти/додавати символи або слова біля полів та властивостей типу Рядок(S)

- Перероблено логіку округлення цін

- Завантаження картинок із фонового зображення background

- З'явилася можливість створювати папки-категорії для парсерів - Можливість завантажувати товари у неактивні розділи

- Виправлення критичної помилки у новому функціоналі категорій парсера

- Доданий функціонал категорій для rss та page типу

- Виправлення дрібних недоробок

- Додано новий вид парсингу офферів – з одиночними характеристиками - Змінено принцип створення імен офферів, якщо ім'я оффера відсутнє. - Незначні доопрацювання та виправлення

- Дрібні доопрацювання

- Удосконалено роботу з посторінковою навігацією. Тепер можна самостійно налаштовувати логіку роботи посторінкової навігації, якщо це неможливо зробити стандартним способом.

- Можливість перекладу тексту (Яндекс.Перекладач) - Відправка унікального тексту в Яндекс

- Удосконалено роботу з параметрами товару

- Незначні доопрацювання

- Доопрацьовані js скрипти

- Доопрацювання js скриптів

- Додана HTTP-автентифікація

- Виправлення критичної помилки, спричиненої оновленням Бітрікса

- незначні виправлення

- Виправлення дрібних недоробок

- Усунення варнінгів

- Незначні доопрацювання

- впроваджено події: початку парсингу, закінчення парсингу, перед створенням елемента, після створення елемента

- Усунуто помилку з використанням налаштувань інфоблоку при ресайзі зображень

- Впровадження нових подій для розробників - Дрібні доопрацювання рішення

- Незначні доопрацювання

- Додана можливість парсингу властивостей з атрибутів елементів

- Впроваджено XML парсинг

- Доопрацювання та виправлення помилок XML парсингу

- Впровадження вкладок Сервіси та Авторизація у XML парсинг

- Впровадження торгових пропозицій у XML парсинг

- додано можливість створення розділів з однаковими назвами (XML) - парсинг торгових з роздільником x, xl, xxl, m (XML) - впроваджено відео-уроки (XML)

- Невеликі доопрацювання та покращення

- Введено функціонал парсингу кількості товару - Невеликі доопрацювання та виправлення

- Багатороздільність! Тепер ви можете вивантажувати каталог із безліччю розділів за допомогою одного парсера!

- Впроваджено функціонал обнулення залишків, якщо товар відсутній у розвантаженні - Виправлення помилок багатороздільності

- Додана функціональність - Оновлення лише поточних товарів без створення нових - Примусове видалення файлів із тимчасової папки tmp

- Дрібні доопрацювання

- Впроваджені додаткові умови зміни цін по розділу - Виправлена помилка парсингу розділів у xml - Інші дрібні доопрацювання та виправлення

- Незначні доопрацювання

- Виправлена помилка роботи з highload властивостями - Виправлена помилка кодування під час роботи з xml

- Введено крок посторінкової навігації - Парсинг офферів із кількох контейнерів

- Парсинг картинок для офферів (тільки для офферів з окремого контейнера) - Унікалізація створюваних розділів при парсингу xml

Впроваджено парсинг CSV файлів

- Впроваджений парсинг XLS та XLSX файлів

- Впроваджено склади

- Незначні зміни

- Виправлена авторизація для xml, csv, xls парсерів

- Незначні редагування

- Впроваджено "Розумне логування"

- Додана можливість відправляти email-повідомлення про початок та завершення парсингу. Незначні редагування

- Виправлено дрібні недоробки - Впроваджено парсинг торгових зі сторінки каталогу(для парсера каталог)

- Впроваджено розподіл великих XML файлів - Зіставлення категорій з xml файлу з існуючими категоріями інфоблоку - Фільтр за властивостями (для парсера xml)

- Впроваджено парсинг кількох типів цін (для парсерів xml, catalog, csv, xls) - Реалізовано роботу з інформерами наявності (для парсерів xml, catalog, csv, xls)

-невеликі редагування

- Завантаження картинок FTP для парсерів типу csv, xls - Завантаження зображень із файлу для парсера типу xls

- Додано можливість завантаження картинок з xls файлів; - додано можливість завантажувати товари з csv, xls у зазначені у товарі розділи (за назвою);

- додано можливість вивантажувати залишки на кілька складів

- Невеликі правки та виправлення

- невеликі редагування

- додано можливість завантаження в HL-блоки - додані типи парсерів xls+catalog та xml+catalog - незначні редагування

- невеликі поновлення

- в xml парсері додана можливість парсить атрибути категорій (опис, картинка, додаткові поля)

Усунуто несправність роботи парсера тип xml:

• робота з локальними файлами;
• розподіл файлу на частини та робота з ними;
• робота опції "Що робити з товарами, присутніми у попередньому вивантаженні та відсутніми у поточній" закладка "Оновлення / Унікальність".

Тип парсера XML:
- додано можливість прив'язування товарів до кількох розділів, якщо в селекторі або в атрибуті вказати id розділів через зяп'яту;
- Також реалізована можливість вказувати селектори "Селектор-атрибут категорії товару:" через зяп'яту

- виправлено помилку, яка з'являлася, якщо у властивості типу довідник інфоблоку вказати "створити новий довідку"

-тип парсера "catalog" усунена помилка парса урлів з якорем -тип парсера "xml" у вмісті за селектором "Селектор-атрибут назви товару" дані виду

- виправлено кодування для "Селектор назви товару:"

- Виправлено помилку при закінченні демонстративної версії модуля;
- виправлено отримання кількості товарів через інформери;
- Виправлено зміну кодування значень функціоналу "Додавання/видалення/зміна символів полів та властивостей";
- Виправлено функціонал "Парсинг властивостей та автоматичне створення" на сайтах з кодуванням не utf-8;
- виправлено парсинг властивостей, де в атрибуті російський текст на сайтах із кодуванням не utf-8;
- виправлено логіку перевірки урла товару;
- Оптимізовано код xls-парсеру.

- Оптимізовано меню.

- оптимізована процедура парсингу картинок;

- Виправлена помилка при якій парсер не зупинявся після досягнення встановленої кількості сторінок у налаштуваннях "Робота з посторінковою навігацією" закладки "Посторінкова навігація";
- Додана процедура продовження сесія, якщо ви парсіте не по агенту, щоб не падала сесія;
- усунуто помилку повторного запуску парсера по агенту;
- оптимізована робота з кодуванням;
- Виправлено процедуру "що робити з товарами, присутніми у минулому вивантаженні";
- Виправлено процедуру фільтрації товарів за властивостями. Закладка "Властивості" -> "Фільтр товарів за властивостями";
- Додана можливість парсити у полі "закупівельна ціна" у парсері тип "xml";
- Виправлена функція Додавання/видалення/зміна символів полів та властивостей, закладка "Властивості"; - Проведено роботи з усунення витоку пам'яті для типів парсера "каталог" та "csv".

- оптимізована процедура перевірки url'ів;

- рефаторинг функціоналу перевірки авторизації із модуля;
- Виправлено помилку битого кодування властивостей xml-парсера.

- розділена процедура обробки базової ціни від інших типів цін для парсер типу каталог;
- Змінено процедуру оновлення товару, якщо товар був переміщений у будь-який розділ, то при проходженні парсеру товар не переміщується до розділу з налаштувань парсера.

- Додана можливість парсеру типу xml парсити у highload-блоки;

- Виправлені функції parseCatalogSelectorProperties та parseCatalogSelectorPropertiesPreview;
- виправлено функціонал по оновленню додаткових цін;
- Виправлено функцію парсингу картинок з get-параметром;
- Виправлена функція аналізу url-ів;
- Виправлено процедуру парса детальної сторінки на адресу якої містяться прогалини.

- Додано можливість експорту парсерів.
- Додано можливість обробки множинних властивостей.
- Уточнено опис помилок авторизації парсера.
- Виправлено обробку відносних посилань, що починаються з "//"

- З xls парсера видалено код налагодження.

- Виправлення помилок експорту парсера.

- Виправлення помилок роботи з версією бітрікс 18.0.6.

- Виправлено помилку некоректної зупинки парсера та відображення прогресу роботи понад 100%
- Додана робота з кодуванням ISO-8859-1
- Виправлена рідкісна помилка під час завантаження додаткових фото товарів
- Виправлено помилку автоматичного зміни розміру зображень відповідно до налаштувань інфоблоку
- Виправлено помилки експорту парсерів
- Невеликі оптимізації коду

- Виправлено помилку збереження елементів інфоблоку

- Виправлені помилки збереження значень властивостей, заданих за умовчанням
- Виправлено завантаження зображень за посиланнями з get-параметрами
- Виправлена помилка зупинки парсеру типу XML
- Виправлена помилка обробки множинних властивостей

- Виправлені помилки роботи з розділами у парсері XML
- Покращено обробку посилань на зображення, де розширення явно не задано
- Виправлені помилки роботи парсерів XML та catalog у режимі "work"

- Виправлена помилка обробки сторінок у режимі WORK
- Виправлено роботу функції визначення типу картинок
- Виправлено помилку обробки товарів для парсеру типу CSV
- Додана можливість активувати товари при їх оновленні
- Виправлено повідомлення про завершення демо-періоду модуля
- Виправлено помилку фільтрації товарів за властивостями
- Виправлено помилку унікалізації торгових пропозицій
- Виправлена помилка у функції checkData()

- виправлений баг із дублюванням додаткових картинок;
- Виправлено баг з типом детального опису.

- Виправлено помилку дублювання додаткових зображень товарів при парсингу. Дублі в товарах зникнуть при першому оновленні відповідного поля;
- Виправлені вразливості у коді модуля;
- У парсер типу XML додано поле для прев'ю-опису товарів.

Оптимізація та виправлення:

• Виправлено рідкісну помилку некоректної обробки назв товару, якщо детальна сторінка використовує кодування UTF-8;
• Виправлено оброблення символу "&" в URL сайту;
• Виправлено помилку завантаження зображень з прев'ю в парсері типу "catalog";
• Поліпшено оброблення відносних посилань на детальну сторінку товару;
• Виправлено завантаження PDF файлів у товари.

Оптимізація та виправлення:

• Додано кодування "UTF-8 (fix)" для сайтів з нестандартною вказівкою кодування UTF-8;
• Виправлена помилка обробки посилань із символами у верхньому регістрі;
• Дата останньої зміни парсера тепер зберігається коректно;
• Властивості у списках тепер відсортовані за алфавітом, у дужках зазначений їхній символьний код;
• Поліпшено оброблення відносних посилань на детальну сторінку товару;
• Якщо в селектор ціни товару потрапить рядок з двома та більше точками ("22.58. руб. / 3шт."), всі символи, починаючи з другої точки, будуть проігноровані (вийде "22.58");
• Покращено очищення директорії з тимчасовими файлами парсера.

Оптимізація та виправлення

• Виправлено критичну помилку роботи парсера типу "catalog" з вивантаженням у highload-блок;
• Виправлені помилки роботи парсера типу "catalog" у режимі "офери з однією характеристикою";
• Виправлені помилки у визначенні кодування сайту-донора;
• Парсери, що залишилися без прив'язки до існуючої категорії, тепер переносяться до кореня списку;
• Додано підтримку завантаження зображень, стиснутих gzip;
• Інші незначні виправлення.

Оптимізація та виправлення:

• Виправлено роботу з націнками;
• Виправлено завантаження зображень із CSV файлів;
• Виправлено додавання розділів із XML файлу;
• Виправлено дію над товарами з попереднього вивантаження як catalog;
• Виправлено завантаження зображень по FTP.

Оптимізація та виправлення:

• Оптимізовано використання оперативної пам'яті під час роботи парсера;
• Виправлено помилку завантаження картинки по ftp в XML файли;
• Оптимізована робота групи націнок так, що одночасно можливе застосування лише одного правила із групи;
• Виправлено помилку деактивації/обнулення товарів;
• Виправлено перехід сторінками якщо початкове посилання задане з параметром посторінкової навігації;
• Виправлено відображення смуги завантаження;
• Виправлено відображення кількості елементів після повторного запуску;
• Оптимізовано роботу з додатковими URL XML файлами;
• Виправлено відображення кількості створених розділів у парсері типу XML;
• Виправлено відображення редактора параметрів полів для кожної сторінки документа в парсерах типу xls;
• Оптимізовано роботу завантаження додаткових картинок в оффери з XML-файлу;
• Оптимізовано створення категорій у парсері типу XML.

Нові функціональні можливості:

• Додано новий тип парсера RSS;
• Додано новий тип парсера Page.

• Оптимізовано парсинг картинок, якщо посилання міститься в атрибуті [data-lazy];
• Оптимізовано роботу функціоналу "Перевірити авторизацію";
• Оптимізовано збереження товарів без картинки, у разі виникнення помилки;
• Оптимізовано роботу парсера, при якій коректно обробляються відносні посилання.

Оптимізація та виправлення:

• Виправлено роботу вивантаження атрибуту ціни, для офферу з однією характеристикою;
• Виправлено роботу експорту парсера на інший сайт;
• Виправлено функціонал записування логів помилок при парсингу агента;
• Виправлено автоматичну авторизацію;
• Оптимізовано парсинг великих файлів;
• Перероблено механізм визначення кодування сайту донора;
• Інші дрібні виправлення.

Нові функціональні можливості:

• Вбудовано нове API 2.0 Яндекс перекладача.

• Налаштування модуля для нових клієнтів переміщені до пункту меню Сотбіт;
• Інші дрібні виправлення.

ПРИМІТКА! Рекомендуємо виконати резервне копіювання сайту перед встановленням.
Оптимізація та виправлення:

• Поліпшення сумісності з PHP 8.1

Оптимізація та виправлення:

• Виправлено помилку вивантаження документів без розширення .doc;
• Виправлена помилка створення елементів при включеному чек-боксі "Створювати розділи з XML файлу";
• Виправлено множення при парсингу за селектором;
• Виправлена помилка під час перегляду результатів запуску парсера;
• Інші дрібні виправлення.

Оптимізація та виправлення:

• Налаштування модуля для нових клієнтів переміщені до пункту меню Сотбіт;
• Інші дрібні виправлення.