[Udemy] Непревзойденный практический инструмент Hadoop: приручите свои большие данные! (Frank Kane, Фрэнк Кейн)

The Ultimate Hands-On Hadoop: Tame your Big Data!
Data Engineering and Hadoop tutorial with MapReduce, HDFS, Spark, Flink, Hive, HBase, MongoDB, Cassandra, Kafka + more!
Чему вы научитесь:
Разрабатывайте распределенные системы, которые управляют «большими данными», используя Hadoop и связанные с ними технологии обработки данных.
Используйте HDFS и MapReduce для хранения и анализа данных в масштабе.
Используйте Pig и Spark для создания сценариев для обработки данных в кластере Hadoop более сложными способами.
Анализ реляционных данных с помощью Hive и MySQL
Анализируйте нереляционные данные с помощью HBase, Cassandra и MongoDB.
Интерактивный запрос данных с помощью Drill, Phoenix и Presto
Выберите подходящую технологию хранения данных для вашего приложения
Узнайте, как YARN, Tez, Mesos, Zookeeper, Zeppelin, Hue и Oozie управляют кластерами Hadoop.
Публикуйте данные в свой кластер Hadoop с помощью Kafka, Sqoop и Flume.
Использование потоковых данных с помощью Spark Streaming, Flink и Storm
Требования:
Вам потребуется доступ к ПК с архитектурой x86 под управлением 64-разрядной версии Windows, MacOS или Linux с подключением к Интернету и не менее 8 ГБ *свободной* (не полной) оперативной памяти, если вы хотите участвовать в практических занятиях и упражнения. Если ваш ПК не соответствует этим требованиям или у вас есть только Mac на базе M1, вы все равно можете пройти курс, не выполняя практических действий.
Некоторые действия потребуют некоторого предварительного опыта программирования, желательно на Python или Scala.
Базовое знакомство с командной строкой Linux будет очень полезным.
Описание:
Мир Hadoop и «больших данных» может быть пугающим — сотни различных технологий с загадочными именами образуют экосистему Hadoop. С помощью этого руководства по Hadoop вы не только поймете, что это за системы и как они сочетаются друг с другом, но и познакомитесь с ними на практике и узнаете, как использовать их для решения реальных бизнес-задач!
Изучите и освойте самые популярные технологии обработки данных в этом комплексном курсе, который преподает бывший инженер и старший менеджер Amazon и IMDb. Мы выйдем далеко за рамки самого Hadoop и погрузимся во все виды распределенных систем, с которыми вам может понадобиться интегрироваться.
Установите и работайте с реальной установкой Hadoop прямо на своем рабочем столе с помощью Hortonworks (теперь часть Cloudera) и пользовательского интерфейса Ambari.
Управляйте большими данными в кластере с помощью HDFS и MapReduce
Напишите программы для анализа данных в Hadoop с помощью Pig и Spark.
Храните и запрашивайте свои данные с помощью Sqoop, Hive, MySQL, HBase, Cassandra, MongoDB, Drill, Phoenix и Presto.
Проектируйте реальные системы с помощью экосистемы Hadoop
Узнайте, как управлять вашим кластером с помощью YARN, Mesos, Zookeeper, Oozie, Zeppelin и Hue.
Обрабатывайте потоковые данные в режиме реального времени с помощью Kafka, Flume, Spark Streaming, Flink и Storm.
Разработчики Spark и Hadoop очень ценятся в компаниях с большими объемами данных; это очень востребованные навыки для изучения.
Почти каждая крупная компания, в которой вы, возможно, захотите работать, тем или иным образом использует Hadoop, включая Amazon, Ebay, Facebook, Google, LinkedIn, IBM, Spotify, Twitter и Yahoo! Hadoop нужен не только технологическим компаниям; даже New York Times использует Hadoop для обработки изображений.
Этот всеобъемлющий курс охватывает более 25 различных технологий в более чем 14 часах видеолекций. Он наполнен практическими занятиями и упражнениями, так что вы получите реальный опыт использования Hadoop — это не просто теория.
В этом курсе вы найдете множество упражнений для людей любого уровня. Если вы руководитель проекта, который просто хочет выучить модные словечки, для многих занятий в курсе есть веб-интерфейсы, не требующие знаний в области программирования. Если вы знакомы с командными строками, мы также покажем вам, как с ними работать. А если вы программист, я предлагаю вам написать настоящие сценарии в системе Hadoop с использованием Scala, Pig Latin и Python.
Вы закончите этот курс с реальным глубоким пониманием Hadoop и связанных с ним распределенных систем, и вы сможете применять Hadoop для решения реальных проблем. А в конце вас ждет ценный сертификат об окончании!
Обратите внимание, что этот курс посвящен разработке приложений, а не администрированию Hadoop. Хотя вы приобретете некоторые административные навыки по пути.
Умение работать с «большими данными» — невероятно ценный навык для современных работодателей. Не оставайтесь в стороне – записывайтесь прямо сейчас!
«The Ultimate Hands-On Hadoop… стал для меня решающим открытием. Я дополнял ваш курс кучей литературы и конференций, пока мне не удалось попасть на собеседование. Могу с гордостью сказать, что я получил работу инженера по большим данным. примерно через год после того, как я начал ваш курс. Большое спасибо за весь отличный контент, который вы создали, и кристально чистые объяснения «, — Альдо Серрано.
«Честно говоря, я не был бы там, где я сейчас, без этого курса. Фрэнк упрощает сложное, помогая вам пройти через процесс на каждом этапе пути. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark. Этот курс помог мне добиться многого. лучшее понимание среды и ее возможностей. Фрэнк упрощает сложное, помогая вам в процессе на каждом этапе. Настоятельно рекомендуется и стоит вашего времени, особенно среда Spark». — Тайлер Бак
Для кого этот курс:
Инженеры-программисты и программисты, которые хотят понять большую экосистему Hadoop и использовать ее для хранения, анализа и продажи «больших данных» в любом масштабе.
Менеджеры проектов, программ или продуктов, которые хотят понимать жаргон и высокоуровневую архитектуру Hadoop.
Аналитики данных и администраторы баз данных, которым интересен Hadoop и его связь с их работой.
Системные архитекторы, которым необходимо понимать компоненты, доступные в экосистеме Hadoop, и то, как они сочетаются друг с другом.
Язык курса — Английский