Основная информация
Имя: Место рождения:
Пол: Мужской Национальность:
Высшее образование: Образование:
Контактный номер: Электронная почта:
Знание английского языка: Опыт работы: Три года
Предполагаемая должность
: инженер по разработке больших данных Ожидаемая заработная плата: по договоренности
Характер работы: полный рабочий день
Профессиональные навыки
1. Овладеть принципом Hadoop, понять основной принцип работы HDFS и YARN, освоить принцип работы MapReduce, быть знакомым с механизмом Shuffle и уметь выполнять настройку mr.
2. Опыт использования SparkCore, SparkSQL, SparkStreaming и возможность выполнять настройку Spark.
3. Освойте механизм работы Hbase, разделенный и компактный механизм, принцип конструкции Rowkey.
4. Освоить хранилище данных Hive и уметь писать операторы SQL для анализа бизнес-показателей.
5. Знакомство с пятью организациями данных Redis и понимание механизма сохранения Redis (RDB и AOF).
6. Знаком с развертыванием и использованием общих компонентов в экосистеме больших данных Kafka, Sqoop, Flume, Zookeeper, Oozie, Elasticsearch, Azkaba, Echarts 7. Знаком со средой Linux, понимаю построение среды больших данных под Linux
, и быть знакомым со сценариями оболочки
8. Освоить механизм выбора Zookeeper и его распределенный механизм управления версиями и уведомления.
9. Знаком с Java и Scala для функционального программирования, может использовать Java и Scala для разработки бизнеса на платформе Spark.
10. Иметь некоторое представление о Flink, FlinkCEP, FlinkSQL.
11. Понимать некоторые алгоритмы интеллектуального анализа данных, такие как K-средние, линейная регрессия, наивный Байес, дерево решений и т. д., и иметь хорошую математическую основу и логические концепции.
12. Иметь хорошие навыки написания кода и умение работать с документами;
Проект 1
Название проекта: Индивидуальные рекомендации по финансовым услугам от Youjin Institute APP 2018.09—2019.07 Архитектура системы
: HDFS+Sparkstreaming+SparkSql+Redis+Flume+Kafka+Mysql+Zookeeper
становится все больше и больше способов получения информации, люди постепенно перешли от активного получения информации к пассивному получению информации, и количество информации также экспоненциально увеличивается в геометрической прогрессии. Чтобы улучшить качество продуктовых услуг, удовлетворить индивидуальные потребности клиентов и рекомендовать клиентам ценную информацию о продуктах, теперь необходимо сделать потребности каждого клиента более подробными и точными, собирая информацию о пользователях и привычках поведения при просмотре для тегов. каждому пользователю создавать эксклюзивный портрет пользователя, целенаправленно сопоставлять финансовые продукты, помогать клиентам находить действительно полезную и ценную информацию, экономить время клиентов, быстро узнавать о похожих продуктах и информации и сокращать цикл транзакций.
Основные обязанности:
1. Добавление информации о метках в MySQL через настраиваемый веб-терминал.
2. Получите информацию о пользовательских данных из HBase, сопоставьте ее с данными метки в MySQL, проанализируйте индикаторы, необходимые для бизнеса, выполните агрегирование измерений из различных измерений, таких как онлайн-поведение, соответствующие типы продуктов, пользовательские инвестиции и кредиты, а также индикаторы статистической информации. ;
3. Используйте SparkSql для анализа данных, анализа пользовательских журналов и добавления тегов для создания портретов пользователей;
4. Добавляйте теги для разных пользователей в соответствии с библиотекой тегов в MySQL VIP-уровень, уровень потребления, уровень риска, диапазон доходов, период страхования и т. д. .; 5.
Pass Создайте модели сопоставления, статистики и интеллектуального анализа данных и объедините пользовательские атрибуты, такие как образование, профессия, деловой район, способность потребления, предпочтения в отношении товаров, недвижимость и производство автомобилей, с тегами и, наконец, сгенерируйте данные пользовательских тегов и сохраните их в Hbase;
Проект 2
Название проекта: онлайн-приложение Xuetang, работающее в режиме реального времени, ресурс курса 2017.09—2018.07 Архитектура системы
: Flume+ Hadoop+ Hive+ Kafka+SparkStreaming +HBase+Azkaba
Описание проекта:
С развитием мобильного Интернета образование не ограничивается классной комнатой , В соответствии с тенденцией развития МООК золотой период развития МООК также начался в Китае.В сочетании с развитием мобильного Интернета XuetangX публикует ресурсы курсов различных престижных школ в Интернете, позволяя учителям и ученикам взаимодействовать и отвечать на вопросы в в режиме реального времени. Студенты могут учиться онлайн в соответствии со своими специальностями, а затем выполнять задания по повышению цен. Преподаватели могут отвечать и исправлять онлайн или офлайн.
Основные обязанности:
1. Используйте SparkStreaming для получения видео курса, которое пользователь просматривает из Kafka, анализируйте и обрабатывайте курс, колледж, известного учителя, продолжительность онлайн и другую информацию о видео, сохраняйте эти поля в MySQL и отправляйте их пользователю в режиме реального времени Информация о ресурсах курса различных колледжей и учителей того же типа.
2. Мониторинг в режиме реального времени сдачи домашнего задания учащимися.Для курсов, где учителя и учащиеся взаимодействуют в режиме реального времени, при отправке учащимися домашнего задания учителю будут отправлены соответствующие напоминания.Преподаватель принимает решение о внесении исправлений сразу или после курс окончен.
3. Для живого курса Flume собирает данные журнала, подключает их к Kafka и использует SparkStreaming для подсчета количества текущих онлайн-студентов, количества людей, задающих вопросы, и из каких регионов они происходят, и сохраняет их в MySQL, а также -end вызывает их для отображения на странице.
4. После того, как учащиеся завершат поэтапное обучение, используйте SparkSql, чтобы найти учащихся, заполнивших поле учебного курса как 1, из таблицы статистики состояния обучения в Hive, извлечь их, сохранить в Hbase и найти соответствующую информацию из вопроса Hbase. контрольные вопросы курса и отправить эти контрольные вопросы студентам.
проект три
Название проекта: Анализ данных журнала Niu Film and Television Online Movie Network 2017.01—2017.06 Архитектура системы:
Flume+ Hadoop+ Hive+ SparkSql + Sqoop+MySQL+Azkaba+Kylin Основные обязанности: 1. Использовать Flume для сбора пользовательских логов из лог-системы, очистки и хранения их в Hdfs и Hive для интеграции 2. Отвечает за офлайн-статистический анализ показателей сайта: 1) Количество онлайн-пользователей каждый день 2) Подсчет количества фильмов ТОП-N, который играли в этот день 3) С какого клиента заходит на сайт 4) Подсчитывать типы фильмов, которые смотрели онлайн ТОП-N 5) Подсчитывать продолжительность онлайн пользователей 3. Хранилище данных разделено на три слоя, исходный уровень данных ODS , слой бизнес-данных DW, уровень анализа данных уровня ADS, 4. Используйте алгоритм рекомендации ALS Spark MLlib для анализа и рекомендации офлайн-видео пользователям;
Самооценка
- я веселая, теплая и искренняя;
- Работать добросовестно и ответственно, быть инициативным, дисциплинированным, активно сотрудничать с работой;
- Прилежное мышление, любовь к обучению, четкая логика, умение анализировать проблемы с разных сторон;
- Сильные организаторские способности и командный дух, с сильной адаптивностью.