WWW.NEW.Z-PDF.RU
БИБЛИОТЕКА  БЕСПЛАТНЫХ  МАТЕРИАЛОВ - Онлайн ресурсы
 

«И. Куралёнок, Н. Поваров Яндекс СПб, 2013 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 35 Задача на сегодня Строить ...»

Машинное обучение: обзор целевых

функций

И. Куралёнок, Н. Поваров

Яндекс

СПб, 2013

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 35

Задача на сегодня

Строить варианты целевой функции на заданную тему .

Для этогого нам понадобится:

узнать чем отличается измерение от оптимизации;

понять какие существуют подходы к построению

целевой функции;

научиться строить целевые функции для заданных

примеров (это уже ДЗ) .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 2 из 35 Пример Вахтер хочет понять кого пускать в парадную.

Он хочет минимизировать свою работу (больше спать) по:

проверке входящих;

разборкам с жильцами/руководством;

уборке/проветриванию .

Для этого ему надо проверять входящих (думать) .

Однако, минимизировать “время сна” напрямую очень сложно. Наша задача помочь бедному вахтеру .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр.

3 из 35 Суть проблемы Если мы понимаем чего хотим: M(F0 )(X ) (линейка позволяющая измерить конкретное решение), то задачу оптимизации можно переписать так:

max M arg max T (F, L) (T ) T F Если выборка не смещена по параметрам оптимизации, то К.О.

говорит нам:

M arg max M arg max T (F, L) (T ) T F Однако, все не так просто .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 4 из 35 Про вахтера в новых обозначениях M время сна;

способы проверки входящих;

F T способы оценить проверку входящих .

Например в качестве F может выступать оценка вероятности того, что “клиент” проблемный. Тогда T может быть как собственно время сна, так и средняя ошибка предсказания по результату работы функции F .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 5 из 35 Проблема в построении

Что может быть “не так” в очевидном решении:

M может быть неудобна для оптимизации (кусочно-постоянная, например);

сложно гарантировать несмещенность по параметрам оптимизации;

сложно собирать данные в терминах M;

Поэтому все еще актуально решать исходную задачу:

max M arg max T (F, L) (T ) T F И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 6 из 35 Как можно подойти к построению T

Можно исходить из трех соображений:

T M: усреднение M по всему доступному опыту;

arg maxF T (F, L) = arg maxF M(F, L):

регрессия по “очкам”: введем для каждого наблюдения стоимость, и будем ее приближать по T ;

принцип максимальной энтропии;

принцип минимального описания;

maxT M (arg maxF T (F, L)) (T ): вероятностное моделирование происходящего: как можно получить M из удобного T .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 7 из 35 Средние значения

–  –  –

Поделили большую M на много маленьких m .

+ по наблюдениям делить естественно;

надо следить за независимостью наблюдений;

работает только для ситуаций когда нет потерь/приобретений;

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 8 из 35 Средние значения бывают разные

–  –  –

Очень понятный физический смысл, но с гладкостью беда: оптимизация l0 NP-hard .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 13 из 35 Как выглядят разные q И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 14 из 35 Подбираем “очки”

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр.

16 из 35 Моделирование вахтера Попробуем объяснить происходящее, зная как оно бывает:

Местные проблемные только если выпьют;

Не местные бывают:

Приличные не будут ничего плохого делать, пока не выпьют;

Неприличные могут нахамить, могут создать проблемы .

Составим из этой картины мира вероятностную модель, и оптимизируем ее .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 17 из 35 Оптимизация вероятностной модели

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 18 из 35 Почему это работает Мы строим p таким образом, что она отражает наше понимание о структуре области. По сути мы итеративно напрямую оптимизируем

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 20 из 35 Байесовские методы (практика) Задаем априорное распределение параметров

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр.

22 из 35 Максимум апостериори Байес по простому Хочется попроще Для оценки ошибок есть бутстраппинг Ансамбли можно сделать другими способами и включить в решающую функцию Чтобы не возиться со сложной F, можно просто взять самое вероятное решение:

–  –  –

получим maximum a posteriori .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр.

23 из 35 Метод максимального правдоподобия (Байес совсем по простому) Лень придумывать prior Нет информации о предыдущих экспериментах Быстро меняющиеся условия А можно совсем обнаглеть и убрать еще prior, сказав, что все решения одинаково вероятны:

p(f ) = p(g )f, g

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 29 из 35 Почему это работает arg maxF T (F, L) = arg maxF M(F, L) Максимизацией энтропии мы выпиливаем информацию про выборку, оставляя лишь информацию о генеральной совокупности. Так как мы хорошо смоделировали, надеемся, что минимум по метрике и по энтропии в одной точке .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 30 из 35 Принцип наименьшего описания

–  –  –

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 31 из 35 Почему это работает Те же рассуждения, что и при ПМЭ .

И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 32 из 35 Сглаживание таргета

–  –  –



Похожие работы:

«Сообщение о существенном факте "Сведения о фактах разовых сделок эмитента, размер которых либо стоимость имущества по которым составляет 10 и более процентов активов эмитента по состоянию на дату сделки"1. Общие сведения 1.1. Полное фирменное наименование эмитента...»

«Распределение накладных расходов РАСПРЕДЕЛЕНИЕ НАКЛАДНЫХ РАСХОДОВ И ИХ 4.ВКЛЮЧЕНИЕ В СЕБЕСТОИМОСТЬ 1. Процедуры размещения накладных расходов, их распределение и их включение в себестоимость. Включение производственных накладных расходов в себестоимость. 2. Центры сервисных затрат – повторн...»

«Агенты с одним состоянием Обучение с подкреплением Сергей Николенко Академический Университет, 2012 Сергей Николенко Обучение с подкреплением Постановка задачи Агенты с одним состоянием Многорукие бандиты Outline Агенты с одним состоянием Постановка задачи Многорукие бандиты Сергей Николенко Обучение с...»

«Тарасову Юрию Валентиновичу Куренкова Римма Аркадьевна посвящает эту книгу с пожеланиями Вечной музыки, Добра и Красоты Ministry of Education and Science Russian Federation Federal State budget i...»

«Н. Куличкина Модная окраска волос в домашних условиях. От тонирования до укладки Н. В. Куличкина Модная окраска волос в домашних условиях. От тонирования до укладки Введение Стремление быть красивой присуще кажд...»

«дить за температурой сушки сырья и режимами измельчения, гранулометрический состав сухих порошков должен быть соизмерим с крупностью муки. В связи с этим добавку можно будет использовать при производстве хлебобулочных изделий из муки, полученной из дефектного зерна и свежесмолотой муки. Объектами исследования были выбр...»

«Глава 1 НОВАЯ ЖИЗНЬ "Живи так, как будто ты умрёшь завтра. Учись так, как будто ты будешь жить вечно" Махатма Ганди Дорогой Друг! Поздравляю Вас с новой, богатой, счастливой, интересной жизнью. Все хорошее и плохое, что было у...»

«ВЫБОР И РАСЧЕТ АКУСТИЧЕСКИХ ПАРАМЕТРОВ ЗВУКОВОСПРОИЗВОДЯЩИХ УСТРОЙСТВ СИСТЕМ ОПОВЕЩЕНИЯ А. Пинаев к.т.н., доцент БГУИР, директор ОДО "Авангардспецмонтаж", М. Альшевский с.н.с. НИИ ПБ и ЧС МЧС РБ О пределение необходимой мощности и уровня зву...»

«Они отрицают суть тавассуля Ваххабиты отрицают неправильно понимают суть тавассуля [1] :  взывания или просьбы о помощи · Приведем примеры этого воззрения, отраженные в книгах вахх абитского автора Муха ммада Ибн Джамиль Зину. В книге, названной авто...»

«М.И. Буянов, руководитель Управления электроэнергетики Федерального агентства по энергетике НАДЕЖНОСТЬ ЕЭС РОССИИ: СИСТЕМНЫЕ ПРОБЛЕМЫ И ПУТИ ИХ РЕШЕНИЯ Добрый день, уважаемые коллеги! Надо сказать, что в современных условиях обеспечение надежности Единой энергетиче...»

















 
2018 www.new.z-pdf.ru - «Библиотека бесплатных материалов - онлайн ресурсы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 2-3 рабочих дней удалим его.