Программирование [Повтор]Машинное обучение с Python + Big Data - (Курс 5 из 17)

  • Автор темы Красный Кут
  • Дата начала
К

Красный Кут



Автор: Lazy Programmer Inc.
Формат: транскрибация видео
Продолжительность: ~ 03:53
Перевод: Красный Кут
Тип перевода: Транскрибация с русским переводом

Всего: 33 видео лекции длительность: 3 часа 53 минут





ЧЕМУ Я НАУЧУСЬ?[/B]]
- применять моментум к методу обратного распространения ошибки при обучении нейронных сетей;

- понимать основы построения блоков в библиотеке Theano;

- создавать нейронные сети, хорошо работающие с базой данных MNIST;

- понимать и применять исключающую регуляризацию в библиотеках Theano и TensorFlow;

- применять процедуры адаптивного коэффициента обучения вроде AdaGrad и RNSprop для метода обратного распространения ошибки при обучении нейронных сетей;

- создавать нейронные сети в библиотеке Theano;

- создавать нейронные сети в библиотеке TensorFlow;

- понимать различие между полным, пакетным и стохастическим градиентным спуском.




ТРЕБОВАНИЯ[/B]]- уметь работать с языком Python и библиотеками Numpy и Matplotlib. Установить библиотеки Theano и TensorFlow;

- если вы до сих пор не знакомы с градиентным спуском, методом обратного распространения ошибок и Sotmax, изучите предыдущий курс «Глубокое обучение на языке Python», после чего возвращайтесь к этому курсу




ОПИСАНИЕ[/B]]Этот курс продолжает мой первый курс по глубокому обучению на языке Python. Вы уже знаете, как создать искусственную нейронную сеть на языке Python и имеете plug-and-play скрипт, который можно использовать в библиотеке TensorFlow. Нейронные сети являются одним из основных продуктов машинного обучения, и они всегда находятся в топе на состязаниях Kaggle. Если вы хотите улучшить свои навыки в сфере нейронных сетей и глубокого обучения, этот курс для вас.

Вы уже изучити метод обратного распространения ошибки (и вследствие этого, данный курс преимущественно не содержит математики), но у вас осталось множество вопросов. Как можно улучшить метод, чтобы улучшить скорость обучения? В этом курсе вы изучите пакетный и стохастический градиентный спуск, две наиболее общеиспользуемые методики, позволяющие обучать модель лишь на небольшой части данных при каждой итерации, что в значительной степени ускоряет время обучения.

Вы также узнаете о моментуме, который может быть полезен при прохождении локального минимума и не допускает чересчур медленных значений коэффициента обучения. Вы также узнаете о методиках адаптивного коэффициента обучения вроде AdaGrad и RMSprop, который также помогут ускорить обучение модели.

Поскольку вы уже знакомы с основами нейронных сетей, мы поговорим о более современных методиках, таких как исключающая регуляризация, которые применимы как в TensorFlow, так и в Theano. Этот курс постоянно обновляется, и в ближайшем будущем появятся ещё более современные методики регуляризации.

В моём предыдущем курсе я дал лишь почувствовать вкус к работе в библиотеке TensorFlow. В этом курсе мы начнём с основ, чтобы вы точно понимали, что происходит, - что такое переменные и выражения TensorFlow и как использовать строительные блоки для создания нейронной сети. Мы также рассмотрим схожую и давно существующую библиотеку, пользующуюся популярностью при создании нейронных сетей – Theano. При этом мы также рассмотрим её основные понятия – переменные, выражения и функции – так что вы сможете уверенно создавать нейронные сети и с помощью Theano.

Поскольку одним из главных преимуществ TensorFlow и Theano является возможность использования графического процессора для ускорения обучения, я покажу вам, как настроить графический процессор на Amazon и сравнить скорость центрального и графического процессоров при обучении глубокой нейронной сети.

С помощью этой дополнительной скорости мы рассмотрим реальный набор данных – знаменитую базу данных MNIST (изображения написанных от руки цифр) и сравним различные критерияи.

Этот курс посвящён тому, «как создавать и понимать», а не просто «как пользоваться». Любой может после прочтения соответствующей документации научиться пользоваться интерфейсом за 15 минут. Речь идёт не о «запоминании фактов», а о «наблюдении за собой» посредством эксперимента. Курс научит вас графически отображать происходящее внутри модели. Если вы хотите большего, чем просто поверхностного знакомства с моделями машинного обучения, этот курс для вас.




ЗАМЕЧАНИЯ[/B]]Весь код курса может быть загружен из моего github: /lazyprogrammer/machine_learning_examples в папке ann_class2. Удостоверьтесь, что у вас все файлы последней версии!




Часть 1. Введение, база данных MNIST и линейный критерий (логистической регрессии)

1. Введение – что вы узнали ранее и что узнаете в этом курсе

2. Как этот курс пригодится при изучении глубокого обучения

3. Как достичь успеха при изучении курса

4. Где взять базу данных MNIST и установка линейного эталона

2. Градиентный спуск: полный, пакетный и стохастический

5. Что такое полный, пакетный и стохастический градиентный спуск

6. Полный, пакетный и стохастический градиентный спуск в коде

3. Моментум и адаптивные коэффициенты обучения

7. Моментум

8. Код для обучения нейронных сетей с применением моментума

9. Переменный и адаптивный коэффициенты обучения

10. Постоянный коэффициент обучения и RMSprop в коде

4. Выбор гиперпараметров

11. Оптимизация гиперпараметров: кросс-валидация, решётчатый и случайный поиск

12. Решётчатый поиск в коде

13. Случайный поиск в коде

5. Библиотека Theano

14. Основы библиотеки Theano: переменные, функции, выражения, оптимизация

15. Построение нейронной сети в библиотеке Theano

6. Библиотека TensorFlow

16. Основы библиотеки TensorFlow: переменные, функции, выражения, оптимизация

17. Построение нейронной сети в библиотеке TensorFlow

7. Ускорение графического процессора, домашняя работа и другое

18. Установка графического процессора на примере интернет-услуг Amazon

19. Могут ли большие массивы данных использоваться для ускорения метода обратного распространения ошибки

20. Упражнения и идеи по-прежнему должны быть охвачены

21. Как улучшить навыки в работе с библиотеками Theano и TensorFlow.

22. Theano и TensorFlow – что лучше?

8. Современные методики регуляризации

23. Исключающая регуляризация

24. Исключающая интуиция

9. Проект распознавания выражения лица

25. Описание задачи распознавания выражения лица

26. Проблема дисбаланса классов

27. Обзор служебного кода

28. Классово-ориентированные искусственные нейронные сети в Theano

29. Классово-ориентированные искусственные нейронные сети в TensorFlow

10. Приложения

30. Ручной выбор коэффициента обучения и штрафа регуляризации

31. Как установить Numpy, Scipy, Matplotlib, Pandas, Ipython и TensorFlow

32. Как самостоятельно писать код. Часть 1

33. Как самостоятельно писать код. Часть 2

ДЕМО ПЕРЕВОД


Скрытый контент.

Для просмотра ссылки необходимо: Войти или Регистрация



Источник

Скрытый контент.

Для просмотра ссылки необходимо: Войти или Регистрация



Для просмотра ссылки необходимо: Войти или Регистрация

 
Последнее редактирование модератором:
Сверху Снизу