Стать большой инженер по разработке данных, на самом деле так хорошо?

Россия после чемпионата мира, ветеран команды часто расстраивать, круг друзей из наблюдения, крыша была полна поклонников, друзей.

Истинные болельщики считают, что России Кубок мира больше, чем много новых вещей, полный чувства технологии. Например, во Франции игре против Австралии, помощник судьи ВДП видео на «блеск», эффективно избежать года в Германии против Англии «дверь линии трагедии.»

Кроме того, Россия позволила командам чемпионата мира по футболу получить данные в игре, что означает, что значение большого футбола данных было еще один тяжелым официальным признанием.

«Большие данные» просто перспектива Бога на футболе в полном объеме, против команды из анализа тактических предложений к игрокам, чтобы отрегулировать положение и т.д., он может играть определенную роль.

Почему часто Big Data на горячем поиске?

Pay, чтобы перейти от общей экономики, все из Интернета мудрости города, от первоначального принятия концепции больших данных, чтобы обновить годовой счет, песни сообщают, значение больших данных создается шаг за шагом отражается. Интернет, финансы, телекоммуникации, медицина, транспорт, средства к существованию людей, промышленность начала больших приложений данных, большие сценарии данных в будущем безграничные возможности.

Реальная ценность заключается в больших данных приложений.

По данным Министерства промышленности издало «большой план развития данных промышленности (2016-2020)», 2020, большие данные, связанные продукты и услуги бизнес доход превысил 1 трлн юаней.

Конечно, возникает вопрос неприкосновенности частной также должны быть оценены.

Payroll работа больших данных не искусственно завышена?

Хорошие перспективы для развития, что означает высокую ликвидность и спрос на таланты, адекватный платить большие рабочие места данных будут выше нормальной работы. Проще говоря, зарплата высока, так как это может создать большую ценность.

Amazon, например, его запатентованный «прогностические логистики» логистика работа может начаться до заказов пользователей. Amazon на основе предыдущей истории просмотра, история поиска, и даже мышь в течение долгого времени, чтобы предсказать свое поведение покупки, товар, рекомендованный для вас, только делает этот момент увеличился на 10% до 30% своих дополнительных доходов. Она также будет продвигать эти товары были отправлены на соответствующий склад, так что мы можем значительно сократить время попадания, так что пользователи больше желающих купить купить купить.

Кроме того, из-за этого практического, «большой талант данных» в погоне предприятия является «просто быть». Есть исполнительная оценка поиска фирм, которые в течение следующих пяти лет, 94% компании будут требовать ученых данных.

 Данные от крюка сети тяговой

Как видно из графика, для того, чтобы выиграть различные таланты, из зарплаты хорошо, но талант разрыв больших данных или реальное существование.

Согласно последней версии «большой отчет таланта данных» показывает, что большой талант в стране только данные 460000, следующие 3 - 5 лет, большой разрыв таланта данных достигнут 1,5 млн.

Статистический анализ Профессионального комитета Китайской Генеральной торговой палаты в соответствии с данными, будущее базового анализа данных талант разрыв в Китае достигнет 14 миллионов долларов, а в рабочие BAT Рекрутинговые в более чем 60% нанимают большой талант данных.

Как стать большим талантом данных?

И с точки зрения личностного развития и промышленности перспективы, чтобы войти в поле больших данных является выбор хороший.

Кин, основатель верхней Китая барашки команды Ван Ци сказал, что «эра больших данных, данные деньги.»

В настоящее время большой обработки данных имеет две основных рамок программного обеспечения, Hadoop и Спарк. Требования к набору персонала каждой компании с точки зрения, вы хотите участвовать в разработке больших объемов данных, мастер Hadoop или Спарк незаменим. Хотите узнать большие системные данные, вы можете присоединиться к большой технологии обмена данными, чтобы узнать, застегнутый Junyang: 522 189 307, приветствовать дополнения, понимать курсы

Hadoop большой тройки, в том числе HDFS, Пряжа и MapReduce. HDFS хранения больших объемов данных, структура управления ресурсами является пряжа свои собственные, но MapReduce является распределенной вычислительной структуры, запускаемые на нити, с HDFS распределенных данных, используемых для расчета.

Спарк эквивалентного MapReduce улучшенной версии, запись распределенной вычислительных задач, с точки зрения коды является более кратким, и он поддерживает все любит питон, чтобы начать быстрее.

Из текущих технических тенденций, Спарк наглы, и некоторые компоненты Hadoop, Storm угасает. Распределенная вычислительная база Hadoop MapReduce, известный своей стабильностью. Но он вычислительное рамки на основе дискового ввода-вывода, низкая производительность в итеративных и интерактивными интеллектуального анализа данных. Он основан на болевых точках MapRedecu на основе вычисления Спарк памяти рамки в полной мере.

Как вычислительные системы Спарк круг «горячих», если вы хотите стать большим инженером данных, обучение Спарк, можно сказать, является необходимым.

До обучения, необходимо иметь определенные основания:

1. Понимание операционной системы Linux, некоторые из основных команд, смешанных с привычным, не наизусть, после использования более естественно вспомнить. Для того, чтобы понять содержание некоторых из JavaSE, вы можете найти информацию в Интернете, вы можете также купить «от записи к мастеру,» книгу.

2. Учитесь преодолевать Спарк, правильное понимание Hadoop (HDFS, пряжа и MapReduce). Искра в настоящее время превратилась в экосистему, есть много технических, предварительно необходимо понять автономную обработку sparkcore, и в режиме реального время электроэрозионной обработки потоковой передаче, подобно Спарк Mlib и Sparkgraphx может подождать до конца, когда нужно использовать, а затем медленно учиться. Чтобы правильно понять Hadoop упоминается здесь, потому что искра на практике, при загрузке данных и данных хранилища, но также будет использоваться для HDFS, понимание основ раздражающих пряж является обязательной, Cloudera официально рекомендованного искру на кластерном режиме пряжи ,

3. Научитесь питона. Питон легко узнать, вы можете разработать программу Спарк, Спарк имеет интерфейс Python.
----------------
 

Опубликовано 160 оригинальных статей · вона похвала 2 · просмотров 10000 +

рекомендация

отblog.csdn.net/mnbvxiaoxin/article/details/104654089
рекомендация