Содержание
Как устроен сортировочный центр Почты России — Почта России на vc.ru
Что происходит с вашей посылкой, когда она поступает на сортировку? Загляните в один из крупнейших логистических центров Почты России.
38 809
просмотров
Зачем Почте нужны сортировочные центры
«Посылка поступила в сортировочный центр». Этот статус знаком всем, кто хоть раз отслеживал отправление по трек-номеру. В логистических (сортировочных) центрах мы распределяем огромную массу отправлений так, чтобы они дошли до клиента по оптимальному маршруту — то есть быстрому и экономически эффективному. Подробно о логистике Почты России вы можете прочитать в этой статье.
Количество отправлений, которые мы обрабатываем, с каждым годом растёт. Так, в 2013 году их число достигало 111 млн, а в 2019 выросло до 432 млн. Пандемия подтолкнула развитие интернет-торговли, и, чтобы справиться с растущим объёмом посылок, нам нужны дополнительные мощности. Для этого мы вместе с нашим партнёром, Группой ВТБ, создаём по всей России сеть современных автоматизированных логистических центров.
От эффективности логистики напрямую зависят сроки доставки. В мире победившей электронной коммерции покупатель привык получать свой заказ не за неделю, а за 1–2 дня, притом с возможностью выбора удобного временного слота. И если мы не сможем обеспечить клиенту такой сервис, он выберет другого логистического оператора. Поэтому наша цель на ближайшие два года — доставка в срок до 24 часов в крупные города и до трёх суток в областные центры. Добиться этого нам помогут логистические хабы по всей стране.
В некоторых хабах появятся зоны для фулфилмента, что тоже поможет сократить сроки доставки. Там владельцы интернет-магазинов смогут хранить товары, которые мы будем комплектовать в заказы и отправлять покупателям. К примеру, продавец из Москвы разместит самые востребованные товары сразу в Новосибирске, и тогда доставка «из Москвы» в Новосибирск будет занимать один день вместо нескольких.
Так как же именно мы сортируем отправления в логистических центрах? Рассмотрим их устройство на примере флагманского хаба Почты в Новосибирской области.
Главное о Новосибирском логистическом центре
Логистический почтовый центр (ЛПЦ) в Новосибирской области — второй по размеру ЛПЦ Почты после московского ЛЦ «Внуково» и первый по уровню автоматизации процессов.
Открыт в марте 2021 года.
Общая площадь — более 45 000 кв. м.
Пропускная способность — до 1,5 млн писем и посылок в сутки.
Площадь зоны интернет-торговли (фулфилмента) — 9 100 кв. м. Одновременно на складе можно хранить до 2,68 млн товаров и собирать до 30 000 заказов в сутки.
Новосибирский ЛПЦ — первый логистический объект, где сортировочные машины работают на базе собственного программного обеспечения Почты России.
Новосибирский логистический центр состоит из нескольких участков для обработки разных типов отправлений — в том числе импортных и экспортных. Мы изучим каждый участок ЛПЦ, следуя по пути посылки — от поступления до выпуска.
Участок разгрузки с наземного транспорта
В среднем в Новосибирский хаб приезжает около 160 грузовиков и фур в сутки.
Внутри машин — отправления, уложенные в контейнеры или просто в кузов. Контейнеры мы разгружаем вручную с помощью «рохлей» — гидравлических тележек.
Работник ЛПЦ везёт контейнер на «рохле»
Кстати, слово «рохля» — это эпоним, то есть имя собственное , которое используют как имя нарицательное для всего класса похожих объектов. Яркий пример эпонимов — «памперсы» и «ксерокс». «Рохля» же — это переиначенное название компании-производителя Rocla, которым со временем нарекли все гидравлические тележки в целом.
Разгрузка контейнеров
Участок сканирования и распределения потоков
Разные типы отправлений мы сортируем на разных участках ЛПЦ — крупные посылки в одном, письма в другом, мелкие пакеты (небольшие посылки длиной до 40 см и весом до трёх кг) в третьем. Чтобы определить тип, мы используем модуль взвешивания и сканер — систему камер, которые «видят» отправление с пяти сторон (всех, кроме нижней) и ищут на упаковке штрихкод.
Сканирование посылки
Сканер считывает штрихкод, определяет вес и размер отправления, регистрирует его поступление в ЛПЦ и передаёт информацию в нашу внутреннюю систему «СортМастер». Та решает, в какой именно участок сортировки должно проследовать отправление. Именно в этот момент меняется его статус, который можно проверить по трек-номеру на сайте или в приложении Почты — к примеру, там появляется отметка о том, что посылка поступила в сортировочный центр.
После того, как мы разобрались с типом отправления, оно следует на свой участок сортировки. Там мы определяем, в какой город его направить.
Участок сортировки посылок
Здесь посылки проходят через ещё один сканер, который считывает штрихкод и посылает запрос в «СортМастер». Тот сверяется с планом направлений и решает, в какой из сортировочных выходов отправить посылку.
Посылка спускается на загрузку по сортировочному выходу
Участок сортировки писем
Письма мы перевозим в ящиках и мешках.
Здесь операторы вскрывают их, чтобы определить направление каждого отдельного письма. Сортировщик писем разделён на 252 направления — одно на Москву, другое на Новосибирск и так далее. Их количество зависит от региона и конструктивных особенностей ЛПЦ — к примеру, в логистическом центре во Внуково у нас 200 выходов.
Одни письма можно отсортировать автоматически, другие — нельзя: это зависит от размера и жёсткости конверта, наличия штрихкода и металлических предметов внутри. Если письма можно отсортировать автоматически, оператор выкладывает их стопкой на модуль загрузки в сортировщик.
Загрузка писем в сортировщик
Внутри сортировщика есть камера, которая считывает штрихкод или распознаёт рукописный адрес с помощью системы OCR (Optical Character Recognition). OCR распознаёт машинный текст и штрихкоды с точностью 95%. Оставшиеся 5% писем попадают в отбраковку, где затем их сортируют вручную. В случае с рукописным текстом погрешность составляет 15%.
Участок сортировки мелких пакетов
В ЛПЦ мелкие пакеты привозят в контейнерах и мешках, так что сначала их надо вскрыть — это делают люди. Затем они выкладывают отправления на конвейеры, которые автоматически подают пакеты на сортировщик. Он обрабатывает 12 000 отправлений в час. Сортировщик оборудован системой распознавания штрихкодов BCR (Barcode Recognition) для работы с регистрируемыми пакетами со штрихкодом и OCR для работы с нерегистрируемыми мелкими пакетами без штрихкода.
Сканер считывает информацию об отправлении и передаёт её в «СортМастер». Он выбирает один из выходов, куда проследует пакет. Там стоит оператор, который по мере наполнения мешка пломбирует его, печатает ярлык и кладёт на конвейер. Далее мешки со всех ветвей конвейера попадают в участок сортировки посылок, где их распределяют по направлениям. Отдельный выход предусмотрен для мешков, которые «путешествуют» по России самолётами, — он соединён с участком авиаобмена.
Сортировщик мелких пакетов
Участок авиаобмена
В новосибирском ЛПЦ участок авиаобмена примыкает к зоне аэропорта Толмачёво.
Оттуда к нам приходят отправления, которые мы передаём на линию сканирования и распределяем по участкам обработки. Исходящие посылки мы просвечиваем через рентгенотелевизионные установки. Так служба авиационной безопасности проверяет, нет ли в отправлении того, что нельзя брать на борт — например, легковоспламеняющихся жидкостей. Если мы находим такие вещи, мы посылаем их наземным транспортом или, если это невозможно, возвращаем отправителю. После проверки мы комплектуем отправления по рейсам и грузим на борт самолёта.
ММПО — место международного почтового обмена
Импортные отправления поступают сюда с участка авиаобмена и зоны разгрузки таможенного транспорта, а экспортные — из почтовых отделений зоны обслуживания ЛПЦ.
Сначала экспортные отправления проходят через сканер, где их регистрирует всё тот же «СортМастер». Затем они попадают в зону таможенного контроля, где их проверяют на рентгенотелевизионной установке. Таможенный инспектор осматривает их удалённо — он не сидит у конвейера, а работает в кабинете.
Ему приходят два изображения отправления — рентгенотелевизионное и обычное — и на их основе инспектор решает, выпускать или детально досматривать посылку. Затем её отправляют либо на дополнительную проверку, либо на сортировку по направлениям. В конце отправления загружают в транспорт, следующий по экспортным маршрутам.
Импортные отправления приходят к нам ещё не растаможенные — с транспорта сразу в зону таможенного контроля. Оператор вскрывает ёмкости и регистрирует их содержимое, а затем кладёт отправления на конвейер, по которому они в автоматизированном режиме проходят сканирование и таможенную проверку, чтобы далее отправиться либо на выпуск, либо на досмотр.
Участок загрузки
Отправления поступают в участок загрузки на тележках или в контейнерах. Здесь мы загружаем отправления в автомобили: контейнеры завозим на «рохлях» в кузов, а крупные посылки и ёмкости с мелкими пакетами и письмами кладём на телескопический конвейер, по которому они попадают в машину.
Что ждёт эти отправления дальше? Одни летят на самолёте в другие города России. Вторые мчат туда же на поездах. Третьи едут на автомобилях до близлежащих почтамтов, где их развозят по почтовым отделениям. А четвёртые попадают за рубеж. При необходимости некоторые отправления проходят ещё через один или несколько сортировочных центров.
Заключение
Логистическая система Почты — сложнейший механизм, с помощью которого мы, не прерываясь ни на день, обрабатываем миллионы посылок и писем, чтобы вы могли вовремя их получить. Надеемся, после прочтения этой статьи вам стало понятнее, какой путь проходит заказ из интернет-магазина или подарок от родственника прежде, чем попасть к вам в руки.
В Приморье специалисты дорожных служб готовятся к непогоде
В случае необходимости дорожные службы совместно с ГИБДД будут перекрывать перевалы и опасные участки
11:25, 12 декабря 2022
Общество
Фото: Иван Дякин (Правительство Приморского края)
Дорожные службы Приморья будут дежурить на дорогах края в круглосуточном режиме. На опасных участках установят снегоуборочную технику, сообщает РИА VladNews со ссылкой на пресс-службу правительства Приморского края.
По информации регионального министерства транспорта и дорожного хозяйства, сейчас на краевых дорогах работает более 100 единиц снегоуборочной техники. Проезд обеспечен ко всем населенным пунктам.
Как рассказали в Примавтодоре, специалисты будут работать сегодня в ночь. В настоящее время идет подготовка техники, заготовка противогололедных материалов.
В случае необходимости дорожные службы совместно с ГИБДД будут перекрывать перевалы и опасные участки. Это делается для того, чтобы техника провела очистку и обработку.
Автолюбителей просят по возможности не покидать населенные пункты. Автобусы на данный момент курсируют по расписанию.
Новости Владивостока в Telegram — постоянно в течение дня.
Подписывайтесь одним нажатием!
Смотрите также
Мужчина упал и умер на скользкой дороге во Владивостоке
По рассказам очевидцев, трагедия случилась на «столетии»
сегодня, 13:32
Росгвардейцы задержали нетрезвого водителя во Владивостоке
Правонарушителя передали сотрудникам ДПС для дальнейшего разбирательства
сегодня, 14:05
Дальневосточный леопард оконфузился на прогулке в Приморье
Пятнистого самца подвел свежий снег
сегодня, 14:35
Крысы терроризируют жителей одного из городов Приморья
Грызуны пробираются в квартиры и пугают людей
сегодня, 13:45
Анжела Кабиева: «Рисование положительно сказывается на принятии решений»
Главный врач Владивостокской поликлиники №3 — о пользе рисования
сегодня, 13:37
Цены на услуги Деда Мороза и Снегурочку во Владивостоке: обзор
Поздравление от главных героев зимы влетит родителям в копеечку
сегодня, 14:19
Kismet Capital Group Holding приобретает 100% Avito у Naspers за $2,4 млрд — компания — Бизнес и экономика
Украина предложила Гомель в качестве площадки для переговоров с Россией, Кремль заявляет
Россия не будет приостанавливать военную операцию на Украине во время переговоров с с украинской стороны, пресс-секретарь Кремля Дмитрий Песков сообщил
Читать дальше
Украинский гарнизон на Змеином острове сдается Вооруженным силам России — Минобороны
82 Украинские военнослужащие сложили оружие и добровольно сдались Вооруженным силам России
Подробнее
Российский дипломат призвал страны G7 оценить глобальный ущерб, который они нанесли за последние 25 лет
Эти страны нанесли ущерб «на нескольких континентах», подчеркнула Мария Захарова
Подробнее
В 12:00 начнутся переговоры Москвы и Киева :00 мск — посланник
По словам главы российской делегации Владимира Мединского, украинская делегация опоздала из-за сложной логистики
Подробнее
Мэр Киева заявил, что украинская столица окружена
Виталий Кличко признал, что столичные власти не полностью контролировали добровольческие батальоны территориальной обороны, которые были обеспечены оружием
Подробнее
Иметь ядерное оружие в Украине было бы «золотой мечтой» США — дипломат
Мария Захарова напомнила, что Италия и многие другие страны обладают ядерным оружием США, но не имеют к нему доступа
Подробнее
Франция увеличит военную помощь Украине, ужесточит антироссийские санкции
Президент Франции Эммануэль Макрон полон решимости принять «меры по замораживанию финансовых активов» российских общественных деятелей на национальном уровне
Подробнее
Россия и Украина должны разработать дорожную карту и прийти к единой позиции — официальный представитель России
По словам Владимира Мединского , помощник президента РФ, российская делегация выехала в Гомельскую область для переговоров с украинской стороной
Подробнее
Основные боестолкновения российской армии на Украине идут с неонацистами — Путин
Президент России подчеркнул, что украинские националисты играли роль блокпостов армии
Подробнее
Россия взяла под свой контроль Запорожскую АЭС, заявили в Минобороны
Рабочие станции продолжают обслуживать объекты
Подробнее
Контакты Россия-ЕС официально не прерваны — дипломат
В пятницу Комитет министров Совета Европы принял решение лишить Россию права представительства в Комитете министров и в ПАСЕ
Подробнее
Западная санкционная политика ведет к «третьей мировой войне» — Лукашенко
Он подчеркнул, что белорусские высокотехнологичные предприятия могут помочь России получить заменители западных и азиатских микросхем
Подробнее
Премьер-министр Израиля предлагает Путину посредничество по Украине — Кремль
Телефонный разговор состоялся по инициативе Израиля
Читать дальше
Путин ввел режим спецслужбы в силах сдерживания России
Президент России подчеркнул, что страны Запада также предпринимают недружественные действия против России в экономической сфере
Подробнее
У России все еще есть друзья в мире — российский дипломат
Мария Захарова в интервью газете «Вечер» с Владимир Соловьев программа на канале Россия-1
Подробнее
Россия может национализировать имущество граждан США, ЕС в ответ на санкции — Медведев
Он отметил, что России угрожают аресты активов российских граждан и компаний за рубежом — » просто так, без всяких санкций», «коврово», «назло»
Подробнее
Россия способна принять меры по смягчению ущерба от санкций — Кремль
Дмитрий Песков подчеркнул, что у России «есть все возможности и потенциал для этого»
Подробнее
За последние сутки украинские военные обстреляли девять населенных пунктов — Миссия ЛНР
Обстрелы разрушили дом в городе Первомайск, добавлена миссия
Подробнее
Зеленский принимает предложение Путина, готов к мирным переговорам
По словам его пресс-секретаря Сергея Никофорова, ведутся консультации о месте и времени переговоров
Подробнее
ООН не может создать условия для приезда российской делегации в Женеву событие — дипломат
Это ответ ООН генсек Мария Захарова сообщила
Подробнее
Украинские катера атакуют корабли, эвакуирующие украинских военнослужащих, сдавшихся на острове Змеиный
Официальный представитель Минобороны России Игорь Конашенков добавил, что катера могли быть направлены американскими беспилотниками0003
Подробнее
Пекин заявил, что Россия не нуждается в военной поддержке Китая в операции на Украине
Китайский дипломат отметил, что позиция Пекина по этому вопросу отличается от взглядов американского руководства
Подробнее
Президент Лукашенко исключает ядерную оружия в Беларуси
По сообщению БЕЛТА, Лукашенко назвал подобные домыслы «фейками»
Подробнее
Сдавшиеся украинские военные подтверждают планы Киева массированного наступления на Донбасс — ДНР
Российская спецоперация была очень своевременной, отметил заместитель начальника Народной милиции ДНР Эдуард Басурин. страны-участницы воскресного заседания Совбеза ООН «не сказали ни слова сочувствия жителям Донбасса»
Подробнее
Российская делегация прибыла в Беларусь для переговоров с украинцами
Российская делегация готова начать переговоры с Украиной в Гомеле, заявил официальный представитель Кремля Дмитрий Песков. к началу операции ВСУ поразили 1114 объектов военной инфраструктуры Украины
Подробнее
Банк России повышает ключевую ставку на 10,5 п.п. до 20%
Внешние условия для российской экономики резко изменились, отметил регулятор
Подробнее
Южные Курилы оккупированы Россией, утверждает официальный МИД Японии
Японские власти в последние годы воздерживаются от термина «оккупация» , вместо этого предпочитая говорить, что «эти острова находятся под суверенитетом Японии»
Подробнее
Российские войска встречают с флагами в Мелитополе Украины
Минобороны России заверило, что российские войска не наносят удары по украинским городам, а ограничиваются нанесением хирургических ударов и выводом из строя украинской военной инфраструктуры
Подробнее
85% сербов всегда будут поддерживать Россию, что бы ни случилось — Президент Вучич
Сербия всегда поддерживал целостность Украины, заявил президент Сербии
Подробнее
Лукашенко говорит, что Путин обещает расценивать нападение на Беларусь как нападение на Россию
Белорусский лидер обратил внимание на быстрое наращивание сил НАТО на границе с Беларусью в Польше и странах Балтии
Подробнее
Страны Запада согласны отключить российские банки от SWIFT
Великобритания, Германия, Италия , Канада, США, Франция и Еврокомиссия договорились о введении новых «жестких финансовых санкций» в отношении России
Подробнее
Евросоюз закрывает воздушное пространство для России — документ
Однако компетентные органы могут разрешить воздушному судну совершить посадку, взлет или пролет в гуманитарных целях или в любых других целях, соответствующих целям настоящего регламента
Подробнее
Жилой дом в Киеве, пораженный средствами ПВО ракета — источник Минобороны России
По словам источника, после потери взлетно-посадочной полосы в Гостомеле украинские военные передислоцировали три пусковые установки «Бук-М1» для усиления обороны аэропорта Жуляны
Подробнее
ФСБ предотвратила теракт в России Калужская область
Спланирована по заказу террористической организации «Исламское государство»
Подробнее
Лавров сообщил Чавушоглу, что Москва готова к урегулированию украинского кризиса — МИД
Русский Министр иностранных дел Турции проинформировал высокопоставленного дипломата Турции об операции России в Донбассе
Подробнее
Киевская делегация прибыла на границу Беларуси для переговоров с Россией — Офис президента
«Ключевой вопрос переговоров — немедленное прекращение огня и вывод войск с территории Украины», — говорится в сообщении. Весь этот период население ДНР и ЛНР подвергалось издевательствам, многолетним обстрелам со стороны киевского режима, открыто взявшего курс на русофобию и геноцид», — отметил высокопоставленный российский дипломат
Подробнее
Лидеров киевского режима ждет неотвратимое наказание — Минобороны России
Мирному населению ничего не угрожает, заявили в Минобороны
Подробнее
Зеленский спешно бежал из Киева, заявил спикер Госдумы РФ
«Бежал во Львов со своим окружением, где ему и его содействию было предоставлено жилье», — сказал спикер
Подробнее
Российско-украинские переговоры начнутся в понедельник утром — источник
Причина — материально-техническое обеспечение украинской делегации, сказал источник
Подробнее
Турция раскрывает перспективы прохода российских военных кораблей через Босфор и Дарданеллы
Министр иностранных дел Турции Мевлют Чавушоглу подчеркнул, что Турция и по сей день неукоснительно соблюдает Конвенцию Монтрё
Подробнее
Россия готова показать, что настоящее средство декоммунизации для Украины — Путин
Нынешняя Украина полностью создана коммунистической Россией, сказал Путин
Подробнее
Обзор прессы: Путин начинает операцию по денацификации Украины и ее экономические последствия
Главные новости российской прессы за пятницу, 25 февраля
Подробнее
Российские войска нанесли точечный ракетный удар по украинской военной инфраструктуре
Вооруженные силы России уничтожены более 800 объектов военной инфраструктуры Украины
Подробнее
Украинские войска обстреляли населенный пункт в ЛНР из комплексов «Град»
Выпущено 20 ракет
Читать дальше
Минобороны России сообщает о потерях среди российских войск в ходе спецоперации
Конашенков также сообщил о взятии в плен нескольких российских военнослужащих Донбасс продолжается
Главные новости российской прессы за понедельник, 28 февраля
Подробнее
Байден говорит, что альтернативой санкциям против России будет Третья мировая война
«Россия заплатит серьезную цену за эту краткосрочную и долгосрочную перспективу, особенно долгосрочную», — подчеркнул лидер США. | by Zishaan Khan
В электронной коммерции сочетание крошечных нюансов продукта может привести к существенному повышению интереса пользователя к покупке. Следующие детали, упомянутые ниже, могут иметь большое значение для развития интереса, если пользователь взглянул на продукт.
Итак, приведенные выше несколько примеров показывают, как один продавец может оптимизировать листинг продукта на веб-сайте электронной коммерции. Но что происходит, даже если продавец имеет полностью оптимизированный список своего продукта и не получает никакого количества продаж. Это приводит к проблеме анализа спроса на продукт, который продавец хочет продать. Это так важно, потому что если продавец вкладывает деньги в рекламу, а люди не посещают его товар или даже после посещения не заинтересованы в покупке товара, это явно объясняет какую-то проблему в товаре продавца.
Такие компании, как Amazon или Flipkart, тратят миллионы на рекламу, и если спрос на продукты не существует, это приводит к огромным потерям для компании или даже продавца, который перерасходует свои собственные деньги на рекламу своего продукта, если спрос на его продукт не существует. просто разочарование продавца может привести к большим проблемам в бизнесе.
В апреле 2018 года Avito запустил в Kaggle конкурс, основанный на предсказании спроса на тот или иной товар. Avito — российский сайт объявлений с разделами, посвященными продаже товаров общего назначения, работе, недвижимости, знакомствам, продаже автомобилей и услугам. Avito — самый популярный сайт объявлений в России и второй по величине сайт объявлений в мире после Craigslist. [Источник: Википедия].
Набор данных был создан командой Avito, в котором набор данных имеет различные категориальные характеристики, такие как идентификатор рекламы, заголовок рекламы, описание рекламы, изображение рекламы, item_id, user_id и т. д., а также Deal_Probability в качестве целевой переменной. Здесь вероятность сделки — это непрерывная переменная, которая находится в диапазоне от 0 до 1. Нули указывают наименьшую вероятность того, что предмет будет куплен, а 1 — наибольшую вероятность того, что предмет будет куплен. Итак, эта проблема — проблема регрессии в машинном обучении.
Структура блога:
1. Что такое прогнозирование спроса.
2. Почему важно прогнозирование спроса.
3. Набор данных Kaggle и его показатели производительности
4. Простой исследовательский анализ данных
5. Предварительная обработка данных
6. Разработка функций
7. Изучение наших моделей машинного обучения
9002 9.0 Лучшая модель оценки Развертывание на виртуальной машине — (в процессе)
10. Итоги и будущие работы
11. Ссылки
Что такое прогнозирование спроса?
Прогнозирование спроса — это процесс оценки будущего потребительского спроса за определенный период с использованием исторических данных и другой информации.
Надлежащее прогнозирование спроса дает компаниям ценную информацию об их потенциале на текущем рынке и других рынках, чтобы менеджеры могли принимать обоснованные решения о ценообразовании, стратегиях роста бизнеса и рыночном потенциале.
Без прогнозирования спроса предприятия рискуют принять неверные решения в отношении своей продукции и целевых рынков, а неосведомленные решения могут иметь далеко идущие негативные последствия для затрат на хранение запасов, удовлетворенности клиентов, управления цепочками поставок и прибыльности.
Почему важно прогнозирование спроса?
Существует ряд причин, по которым прогнозирование спроса является важным процессом для бизнеса:
- Прогнозирование продаж помогает в бизнес-планировании, составлении бюджета и постановке целей. Когда у вас будет хорошее представление о том, как могут выглядеть ваши будущие продажи, вы можете приступить к разработке обоснованной стратегии закупок, чтобы убедиться, что ваши поставки соответствуют спросу клиентов.
- Это позволяет предприятиям более эффективно оптимизировать запасы, увеличить оборачиваемость запасов и снизить затраты на хранение.
- Это дает представление о предстоящем движении денежных средств, что означает, что предприятия могут более точно планировать расходы на оплату поставщиков и другие операционные расходы, а также инвестировать в развитие бизнеса.
- С помощью прогнозирования продаж вы также можете заблаговременно выявлять и устранять любые перегибы в конвейере продаж, чтобы обеспечить устойчивость вашего бизнеса в течение всего периода. Когда дело доходит до управления запасами, большинство владельцев бизнеса электронной коммерции слишком хорошо знают, что слишком мало или слишком много запасов может нанести ущерб операциям.
- Предвидеть спрос означает знать, когда увеличить персонал и другие ресурсы, чтобы обеспечить бесперебойную работу в периоды пиковой нагрузки.
3. Понимание набора данных Kaggle и показателей его производительности.
Набор данных был большим, я сталкивался с различными проблемами при обработке больших данных, так как у меня меньше вычислительных устройств. Ядра Kaggle недостаточно для тех, кто планирует выполнять все операции на ядре Kaggle. Набор данных, предоставленный командой Avito, содержит все, изображения, текст, категориальные и непрерывные переменные. Давайте посмотрим на CSV-файл поезда.
-
item_id— Идентификатор конкретного объявления. -
user_id— Идентификатор пользователя -
регион— Объявления относятся к региону. -
город— Объявление принадлежит городу. -
parent_category_name— Категория объявлений верхнего уровня согласно рекламной модели Авито. -
название_категории— Мелкозернистая категория объявлений по рекламной модели Авито. -
param_1— Необязательный параметр из рекламной модели Авито. -
param_2— Необязательный параметр из рекламной модели Авито. -
param_3— Необязательный параметр из рекламной модели Авито. -
заголовок— Заголовок объявления. -
описание— Описание объявления. -
цена— Цена объявления. -
item_seq_number— Порядковый номер объявления для пользователя. -
activation_date— Дата размещения объявления. -
user_type— Тип пользователя. -
изображение— Идентификационный код изображения. Привязывается к jpg-файлу в train_jpg. Не каждое объявление имеет изображение. -
image_top_1— Классификационный код изображения на Авито. -
Deal_Probability— Целевая переменная. Это вероятность того, что реклама действительно что-то продала. Невозможно точно проверить каждую транзакцию, поэтому значение этого столбца может быть любым числом с плавающей запятой от нуля до единицы.
4. Простой исследовательский анализ данных.
Давайте изучим данные, проанализировав их.
4.1. Изучение отсутствующих значений данных.
Давайте проверим процент отсутствующих точек данных, присутствующих в нашем наборе данных для обучения и тестирования.
Процент отсутствующих данных в данных поезда.
Наблюдения :
Существует много NA для необязательных параметров — пользователи обычно игнорируют ввод необязательных параметров. Изображение — NA означает отсутствие изображения для объявления, как описано в разделе данных, который — «Не в каждом объявлении есть изображение». Цена — какой-то пользователь не ввел цену.
4.2 Анализ вероятности сделки
Диаграмма рассеяния для распределения вероятности сделки
Около 65% (1000000/1503424 = 0,66) объявлений имеют нулевую вероятность сделки. Ясно, что около 100 тыс. объявлений ничего не продали. Немногие объявления имеют вероятность 1, а остальные от 0 до 1.
4.3 Региональное распределение объявлений:
Гистограмма регионов w.rt. Объявления
В раздачах по регионам с рекламой видно, что в одних регионах рекламы больше, чем в других, возможно, эти города популярны в России.
Блочная диаграмма вероятности сделки относительно регионы
Приведенная выше диаграмма показывает, что некоторые регионы имеют незначительные преимущества по показателю вероятности.
4.4 Распределение рекламы по городам:
Топ 25 городов по распространению рекламы, лучшие города – хорошие города России.
Топ-25 городов Распространение рекламы
4,5 Распределение рекламы по названию родительской категории
Распределение рекламы по названию родительской категории
Родительская категория «Личные вещи» преобладает в наборе данных.
Блок-диаграмма вероятности сделки относительно названия родительской категории
У родительской категории «Услуги» вероятность сделки выше, чем у других.
4.6. Название категории Разумное распределение рекламы
Распределение рекламы по названию категории
Распределение рекламы ясно показывает преобладание двух категорий над другой категорией. Эти категории: одежда, обувь, аксессуары, детская одежда и обувь.
Блочная диаграмма вероятности сделки по названию категории
Блочная диаграмма показывает, что некоторые категории имеют большую вероятность сделки, чем другие.
4.7 Тип пользователя Разумное распространение рекламы:
Распределение рекламы по типу пользователя
Существует только три типа и набор данных с более частным пользователем, за которым следует компания и магазин.
Box График вероятности сделки по типу пользователя
Вероятность сделки с частным пользователем лучше всех.
4.8 Распределение цен на рекламу.
График распределения цен на бревна
Журнал цен показывает не полностью гауссовское распределение. Когда мы делаем логарифм цен, мы можем проанализировать, что его максимальное значение находится в диапазоне от 5 до 15.
4.9. Длина слова в заголовке объявления:
Длина слова распределение заголовка
Максимальное количество слов в заголовке от 1 до 6.
4.10. Анализ дат активации:
Даты различаются для обучающих и тестовых наборов. В данном наборе данных есть данные для обучения с 15 по 28 марта и для тестирования с 12 по 18 апреля 2017 года. Между данными для обучения и тестирования имеется разрыв в две недели.
5. Предварительная обработка данных
Предварительная обработка данных для любого набора данных — довольно сложная задача, потому что вы хотите обработать отсутствующее значение и очистить данные для подачи в модель машинного обучения. Если мы вводим значения NaN, мы должны позаботиться о связи между отсутствующими значениями и нашей целевой переменной, которая здесь является вероятностью сделки.
5.1 Обработка отсутствующих значений
Цена: Для цены отсутствует 85632 значения, что составляет примерно 5,6 % в сравнении. Я использовал здравый смысл и подход, чтобы заменить это значение этими отсутствующими значениями со средним значением его категории.
Изображение: Для изображений, отсутствующих в наборе данных, изначально я думал просто ничего не вменять, но я руководствуюсь здравым смыслом и вменяю изображение в отношении режима этого конкретного изображения родительской категории.
Для остальных функций , поскольку пропущенных значений много, я заменяю значения NaN строкой «отсутствует», чтобы это было действием в качестве новой категории.
5.2. Очистка текста:
Очистка текста и описания путем понижения текста и знаков препинания.
5.3. Изображения в массив:
Я преобразовал изображения в массив с помощью cv2, а затем изменил его размер до 128 x 128, поскольку у меня не так много памяти, чтобы справиться с этой проблемой, я сохраняю размерность низкой.
6. Разработка функций:
Создание новых функций может оказаться сложной задачей. Лучший способ получить фору в этом — погрузиться в предметную область и поискать исследовательские работы, блоги, статьи и т. д. Ядра Kaggle в связанных доменах также являются хорошим способом найти информацию об интересных функциях.
Мы реализовали несколько простых и проверили работоспособность модели.
Вот краткий обзор функций:
6.1. По регионам Минимальные, максимальные, средние и медианные цены:
Агрегация цен по регионам.
6.2. По городу Минимальные, максимальные, средние и медианные цены:
Агрегация цен по городу
6.3. Название родительской категории Мин. , макс., среднее и медианное цены: Агрегация цен, группирующих родительскую категорию.
6.4. Название категории Мин., Макс., Среднее и Медиана Цены:
Агрегация групп цен Название категории.
6.5. Регион и город Минимальные, максимальные, средние и медианные цены:
Агрегация цен по регионам и городам.
6.6. Тип пользователя и родительская категория с учетом минимальных, максимальных, средних и медианных цен: Агрегация цен, группирующих тип пользователя и имя родительской категории.
6.7. Тип пользователя и название категории с учетом Мин., Макс., Среднее и Медиана Цены: Агрегация цен по типу пользователя и названию категории.
6.8. Длина слов в заголовке и описании.
6.9. В заголовке и описании учитываются специальные символы, такие как ↓, ✔, ❀, ஜ, ! и т.д.
6.9. Предварительно обученные векторы слов FastText встраиваются в заголовок.
6.10. Встраивание предварительно обученных векторов слов FastText для описания.
6.11. Категориальная характеристика :
Я решил использовать слой встраивания в глубокой нейронной сети, поэтому я создаю пользовательскую функцию с токенизатором Keras для кодирования всех категориальных функций. Категориальные функции включают user_type, город, регион, parent_category_name, category_name, param_1, param_2, param_3, image_top_1.
- Примечание:
В части развертывания я собираюсь отказаться от функции агрегирования по той причине, что мои тестовые данные также имеют распределение, благодаря которому мы можем агрегировать функции и значения. Но для развертывания я собираюсь вставить одну точку данных в свою модель, чтобы агрегация невозможна. Даже здесь, если мы возьмем реальный сценарий, если мы предопределили наши значения агрегации здесь, мы можем иметь или не иметь новое категориальное значение. Вот почему я подумал зайти сюда.
7. Изучение наших моделей машинного обучения:
Для создания моей первой базовой модели я использовал различные подходы высшего ранга, и общим в их подходах является то, что большинство из них использует методы Boosting Ensemble. Они собрали различные ансамбли, некоторые из них рассчитаны даже на 30 базовых моделей. А вот обладатель первого ранга делится своими подходами к глубокому обучению, что весьма интересно и вдохновляюще. Поэтому я решил двигаться вперед с подходом глубокого обучения, поскольку моя основная цель не в том, чтобы победить тройку лучших в Kaggle, я подхожу к этой проблеме как к реальному бизнес-решению.
7.1. Первая базовая модель:
Итак, в моей первой базовой модели я использовал LSTM для обеих своих текстовых функций: заголовка и описания. Здесь используется слой встраивания и инициализируется предварительно обученными весами из русского языка FastText. Категориальная и другая инженерная функция отправляется на какой-то плотный слой, затем все объединяется и переходит на несколько плотных слоев.
Все функции активации здесь «RELU», а веса инициализируются с помощью He_Normal(). Используемый здесь LSTM также имеет recurrent_dropout, который равен 0,3. Здесь наша модель кажется немного подогнанной, я не сильно регулировал только один пакетную нормализацию и один слой отсева. Поскольку это наш первый подход к сокращению, наша модель выполняет достойную роль с частной оценкой 0,24619.и публичный балл 0,24175.
Первая базовая модель Поток
7.2 Добавление GRU и встраивание в базовую модель:
Как мы видели, мы получили приличный результат для начала, я начал с LSTM для текстовых данных. Одна вещь, которую я заметил, это то, что потери не уменьшаются при 0,23, поскольку они могут найти свои глобальные минимумы. Поэтому я попытался сначала изменить LSTM на GRU и повторно запустить обучение, это помогает нашей модели уменьшить потери с 0,23 до 0,227. Итак, я продолжал импровизировать модель, добавляя слой внедрения к каждому из категориальных данных, поскольку категориальные данные здесь очень важны.
7.3 Лучшая модель в финале:
Эта модель вдохновлена танцем первого победителя с ансамблями. Основное отличие от моей предыдущей модели заключается в том, что я никогда не добавлял изображения в свою модель, в этой модели я экспериментировал с VGG16, Inception и InceptionResNetV2 для трансферного обучения, в котором InceptionResnetV2 работает лучше, чем VGG16 и Inception. После вывода базового уровня из InceptionResNetV2 я экспериментировал со слоем свертки, затем с максимальным пулом, а затем с плотным слоем, что повышает производительность модели трансферного обучения.
Я использовал однослойный GRU для текстовой функции и пытался сделать мою модель слабой, так как иногда модель получает переобучение. За всеми плотными слоями последовали пакетная нормализация и выпадение, чтобы упорядочить мою модель.
Эта модель лучше, чем две предыдущие модели. Вот одна вещь, которой я хочу поделиться со всеми вами, это то, что, поскольку этот набор данных большой, у меня нет таких ресурсов, чтобы работать со всеми наборами данных вместе с изображениями. Итак, здесь я экспериментировал только с 50 тысячами точек данных, исходный набор данных содержит 1,5 миллиона точек данных. Недостаток использования меньшего количества точек данных приводит к переобучению модели, я пробовал несколько способов упорядочить модель, но ничего не работает. Вышеупомянутые две модели, которые были обучены с полным набором данных, идеально подходят для моего набора данных перекрестной проверки. Модель не может изучить все распределение.
Очки за отправку Kaggle:
9. Развертывание на виртуальной машине:
Я использовал потоковый API с открытым исходным кодом для развертывания моей модели на моем локальном компьютере, вы должны написать все коды на python Без HTML, CSS или JavaScript , это весело па! Вы можете проверить видео ниже.
10. Резюме и будущие аспекты:
Этот проект довольно интересный, все типы данных для решения проблемы. Подводя итог этому проекту, мы построили хорошую модель с самого начала, первая модель способна дать правильное направление для движения вперед.