ML Underhood

Технологии машинного обучения на службе метеорологии

У Яндекс Погоды новая технология — OmniCast. Она использует данные с профессиональных метеостанций и любительских метеодатчиков, комбинируя их с нейросетями и алгоритмами для повышения точности. Подробнее об этой технологии вы можете почитать в статье на Хабре, а здесь мы расскажем главное.

Ранее прогнозы основывались на данных ближайших метеостанций, что часто приводило к ошибкам. Особенно это было заметно в крупных городах, где температурные условия в центре и на окраинах сильно различаются. OmniCast решила эту проблему, адаптировав фильтр Калмана для коррекции прогнозов на основе свежих данных, что позволило учесть локальные изменения температуры.

Для обработки огромного объема данных в реальном времени система использует технологию распределённых вычислений MapReduce. Она способна обновлять прогнозы каждые пять минут, обрабатывая более 100 000 новых измерений. Для дальнейшего улучшения прогноза команда OmniCast применила нейросети.

Одной из ключевых задач было устранение резких скачков температуры в прогнозах на несколько часов вперед. Для этого разработчики создали модель, основанную на двунаправленной LSTM (long short-term memory) нейросети, которая анализирует историю измерений и прогнозирует изменения температуры на ближайшие несколько часов. Это позволило значительно повысить точность прогнозов по сравнению с традиционными методами вроде ARIMA.

Все увлекательные подробности — с вычислениями и графиками — вы найдёте на Хабре. А здесь в комментариях рассказывайте, что думаете об OmniCast?

ML Underhood