Какой сейчас может быть парсинг интернет-сайтов для сбора цен государственных строек, еще и в разрезе регионов? Даже просто поставщиков материалов, которые размещают данные во ФГИС ЦС.
При всем уважении к специалистам из госкорпораций, Минстроя, Главгосэкспертиз, РЦЦС, разработчиков сметных программ - ни у кого таких специалистов нет, с этим справился быть может только Джон Голт или Павел Дуров. Но один вымышленный, а другому это не интересно.
Просто Парсинг цен стройматериалов - утопия и непредсказуемая вещь с огромным отсевом и мегасомнительной актуальностью.
Хуже уже не будет, а вот лучше ли - большой вопрос…
Интернет - информационная помойка, где никогда никому не прилепишь ответственность, если ты просто "зацепил" прайс с сайта.
Каждый из нас так или иначе слышал про SEO: тут манипуляторов пруд пруди.
Будет что-то подобное: узнав про парсинг, такие же "оптимизаторы" мигом наплодят левых сайтов с прайсами, дадут кучу фиктивной информации, чтобы повлиять на результат, узнав или просчитав формулу или параметры ранжирования (выборки).
Вас могут убеждать разработчики, что все ОК и продумано и уже «все предусмотрели и оттестировали на реальных данных», но это скорее всего сказки! Ручной режим и человеческий фактор никто не отменял.
Если эта штука действительно честно заработает, то разработчики не только озолотятся, но и в хорошем смысле сделают революцию в интернет. Это будет прорыв и Главгосэкпертиза со своим ФГИС ЦС тут будет точно не нужна (только если не запатентуют тему и продукт реализации)!
Помечтаем тогда об искусственном интеллекте, машинном обучении, big-data… достоверных данных в два клика.
Об «облачной системе», которая легко монетизируется и у производителей появляется стимул в ней размещаться даже за деньги… О платных объявлениях Поставщиков в системе (чем не аналог Директ?).
И приземлимся...
Т.к. скорее всего, все банальнее: это будет просто очередной проект «под бюджет» и госзаказ. Для этого и есть слайды по развитию ФГИС ЦС с парсингом.
Когда разыграют "конкурс", громко объявят о разработке, заплатят деньги, а потом волна потихоньку стихнет. Проект, конечно, объявят удачным, но тема дальше этого не пойдёт…
Всякие методики отсева недостоверных значений типа должны помочь убрать левые цены... это фикция.
В интернете даже автоматизированно невозможно предугадать: где не актуальная цена. В выборку для определения приведенной цены всегда попадет фиктивное значение. Элементарный пример - агрегатор цен е-каталог - очень не достоверные и сомнительные данные.
Попробуйте в реальности купить за эти деньги...
И более правдивый, но тоже не идеальный агрегатор - Яндекс-маркет.
Модерация ценовых предложений происходит и там и там, но в Яндексе все строже, поэтому ценовые предложения достовернее.
И да, самое главное: тут так или иначе отвечают «за информацию» (модераторы и клиенты не дремлют), мотивированы финансово на размещение (платёж Яндексу от поставщика за размещение), возврат инвестиций (окупаемость платных кликов) и, естественно, продажу товара по указанной цене (иначе - бан неизбежен, а очередь на размещение есть всегда. а у многих - и катастрофические последствия для всего Бизнеса при вылете из Я-Маркета).
Если бы можно было просто "парсить", площадок аналогичных Яндекс-маркету было бы очень много.
Но парсить - это не так просто и предложить такое могли: только самобытные «профи», застрявшие в прошлом, либо недобросовестные разработчики, либо очень далекие от темы мониторинга люди. Или, действительно гении, поймавшие за хвост новую «тему» и перспективный стартап (фонд Сколково проморгал ребят). В перспективе это миллионеры и те, на кого будет равняться подрастающее поколение, чьи кейсы с упоением будет разбирать...
Подкинем продолжение темы: договориться с разработчиками «Гранд-Смета», чтобы в «Гранд.Стройматериалы» в рамках Парсинга добавить ещё и цены, состыковав с тем же Яндекс-маркет.
Вот, кстати, ещё один проект, который уже 4 года пытаются монтетезировать: https://stroy-inform.ru/
А вообще, если так верите в эту идею (мы даже вдохновились!): создавайте стартап/совместный проект с Яндексом (или «1С») под эгидой Министерства цифрового развития.
Инфо справка про яндекс маркет.
Пока, к сожалению, для реальной картины цены материалов придётся возиться с первичкой, а не цены в Интернете собирать.
И думать надо в первую очередь о том: как ее оперативно получать.
В свое время И.Н.Лищенко грозилась все брать от налоговиков и наказывать производителей-саботажников. Отличный вариант - книги покупок/продаж в помощь!
Глядишь, и классификатор строительных ресурсов через пару лет почистите от неликвида. Вон, сколько обновлений к нему выпустили…
Вот, еще коллеги на эту тему писали ранее: ФГИС ЦС - паралич или развитие?
Также читайте: Расчет сметных цен на материалы и учет транспортной составляющей
--
По вопросам мониторинга цен (в т.ч. поставщиков материалов во ФГИС ЦС), а также анализу данных и конъюнктурному анализу обращайтесь по электронной почте smety@all-smety.ru или по телефонам: