Con los años, los grandes datos como un concepto de moda, la aparición de alta frecuencia, muy alto grado de preocupación, para muchas personas, cuando escuchó por primera vez "grandes datos" es la palabra, naturalmente, van a ser tomada literalmente - pensar grandes datos es una gran cantidad de datos, gran tecnología de almacenamiento de datos es la tecnología de grandes cantidades de datos.
Sin embargo, no lo es.
Big Data complicado de lo esperado. No es sólo una tecnología de almacenamiento de datos, sino una serie de cantidades masivas de datos y extracción relacionada, integración, gestión, análisis, técnicas de interpretación, es un sistema de estructura enorme.
Por otra parte, los datos de grande es una nueva forma de modelos de pensamiento y de negocios.
Hoy en día este artículo, vamos a tomar cinco minutos para entender lo que, al final lo que es grandes volúmenes de datos.
Definición de datos grandes
En primer lugar, todavía tiene que volver a examinar la definición de grandes volúmenes de datos.
La definición de la industria tiene una gran cantidad de datos grandes, hay una definición amplia, hay estrecha definición.
Definición amplia, una pequeña muestra de la filosofía - grandes volúmenes de datos, se refiere al mundo físico con el mapa del mundo digital y refinación. Averiguando de qué manera las funciones de datos, que mejoran la eficiencia de la conducta de toma de decisiones.
En sentido más estricto, se da ingeniero técnico - grandes volúmenes de datos, a través de la adquisición, almacenamiento, análisis y toque el tipo de valor de la nueva arquitectura de la tecnología de los datos de gran capacidad.
comparativamente hablando, yo prefiero la definición técnica, ja, ja.
Observamos que en las palabras clave por encima tengo la frase original en negrita Ja!
¿Qué hacer? - acceso a los datos, almacenamiento de datos, análisis de datos
¿A quién? - datos de gran capacidad
¿Cuál es el propósito? - toque el valor de
adquisición de datos, almacenamiento de datos, análisis de datos, esta serie de acciones no son nuevos. Estamos utilizando la computadora todos los días, están haciendo esto todos los días.
Por ejemplo, al principio de cada mes, el administrador de asistencia para obtener información para cada asistencia de los empleados, la entrada de hoja de cálculo Excel, y se almacena en un ordenador, el análisis estadístico de cuántas personas llegan tarde, ausente, entonces hebilla salarios TA.
Sin embargo, el mismo comportamiento en una gran cantidad de datos, no funcionará. En otras palabras, el PC tradicional, la rutina de software tradicional, incapaz de hacer frente al nivel de datos, llamado "big data".
Big Data, en el final la cantidad?
Nuestro procesamiento de datos de computadora personal tradicional, es el nivel de GB / TB. Por ejemplo, nuestro disco duro, ahora por lo general la capacidad de 1 TB / 2TB / 4 TB.
La relación entre la tuberculosis, GB, MB, KB, que debe ser muy familiar:
1 KB = 1024 B (KB - kilobytes)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
Y qué nivel es grandes datos? PB / EB nivel.
La mayoría de la gente nunca ha oído. De hecho, es decir, seguir girando 1024 veces:
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
Basta con mirar a estas cartas, parece que no es muy intuitiva. Déjeme darle un ejemplo.
1 TB, sólo se necesita un disco duro puede almacenar. La capacidad es de aproximadamente 200.000 200.000 fotos, o música en formato MP3, o 671 novelas "El sueño del Pabellón Rojo".
1PB, toma alrededor de dos armarios de almacenamiento. La capacidad es de unos 200 millones de fotos o 200 millones de música MP3. Si una persona constantemente escuchar música, puede escuchar a 1900.
1EB, toma alrededor de dispositivo de almacenamiento del armario, 2000. Si estas emisiones y armarios, lata de estiramiento de 1,2 kilómetros de longitud. Si se coloca en la sala de máquinas, necesitamos 21 cancha de baloncesto estándar tanto espacio a lo dejó. Quiere aprender el sistema de grandes volúmenes de datos, puede unirse a la gran tecnología de datos de aprendizaje abotonada Junyang: 522 189 307
Ali, Baidu, Tencent este gigante de Internet, dice que ha estado cerca de la cantidad de datos a nivel de EB.
EB no es la mejor. Actualmente la cantidad de datos de toda la humanidad, es el nivel ZB.
Por ejemplo, 1 = 1.024 EB (ZB - zetabyte)
En 2011, la cantidad de datos que se creó y se replica en todo el mundo es 1.8ZB.
En 2020, el dispositivo de almacenamiento electrónico de datos global, llegará a 35ZB. Si se construye un espacio para almacenar estos datos, entonces esta zona de la sala que el 42 el estadio Nido de pájaro más grande.
La cantidad de datos no sólo es grande, sino también aumentar rápidamente - un aumento del 50% por año. En otras palabras, se duplica cada dos años.
Las aplicaciones actuales de datos grandes, no ha alcanzado el nivel de ZB, principalmente en el nivel PB / EB.
Focalización a nivel de grandes datos:
1 KB = 1024 B (KB - kilobytes)
1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
Por ejemplo, 1 = 1.024 EB (ZB - zetabyte)
Las fuentes de datos
crecimiento de los datos, qué tan rápido?
Aquí, debemos buscar en varias etapas clave de los datos generados sociales humanos.
En términos generales, tres etapas importantes.
La primera etapa es la etapa después de que el equipo fue inventado. Sobre todo después de la base de datos fue inventado, por lo que la complejidad de la gestión de datos se reduce en gran medida. Las empresas empiezan datos se generan a fin de ser registrados en la base de datos.
En estos datos estructurados a datos basados en (explicar lo que sería "datos estructurados"). ¿Cómo se generan los datos, es pasiva.
La segunda fase, con el advenimiento de la era de Internet 2.0. El signo más importante de Internet 2.0 es el contenido generado por el usuario.
Con la popularidad de Internet y dispositivos móviles de comunicación, la gente comenzó a usar el blog, facebook, youtube dicha red social, la iniciativa generó una gran cantidad de datos.
La tercera etapa es la etapa de los sistemas de percepción. Con el desarrollo de las cosas, una variedad de aperturas de nodos de la capa percepción genere automáticamente grandes cantidades de datos, tales como sensores a lo largo de todos los rincones del mundo, cámaras.
Tras el desarrollo de "pasivo - - Automático activa" de estas tres etapas, finalmente llevó a la expansión de la velocidad total de datos en humanos.
4 Vs Big Data
Características del sector de datos de gran tamaño, que se resumen como 4 V. Dijimos antes de la gran cantidad de volumen de datos es de volumen (cuantificación). Además del volumen, los tres restantes, a saber, la variedad, la velocidad, el valor.
Hemos introducido una por una.
- Variedad (diversificación)
los datos del formulario son diversas, incluidos los digitales (precio, datos de transacciones, peso, número, etc.), texto (correo electrónico, páginas web, etc.), imágenes, audio, vídeo, información de localización (latitud y longitud, altitud, etc.), y así sucesivamente, es datos.
Los datos se divide en datos estructurados y datos no estructurados.
Como el nombre sugiere, estructura de datos, medios pueden ser representación del modelo de datos predefinido, o los datos pueden ser almacenados en una base de datos relacional.
Por ejemplo, una clase para todas las edades, unos precios de los supermercados de todas las mercancías, que se estructuran los datos.
El artículo de la página, el contenido del mensaje, imágenes, audio, vídeo, etc., son palabras de datos no estructurados.
En el ámbito de Internet, los datos no estructurados que representa más del 80% de la cantidad total de datos.
datos grandes, de acuerdo con tales características: formulario de datos de diversificación, y la alta proporción de los datos no estructurados.
- Velocidad (puntualidad)
Big Data también tiene una característica que es la puntualidad. A partir de los datos generados para el consumidor, la ventana de tiempo es muy pequeño. La tasa de cambio de los datos, así como el proceso, cada vez más rápido y más rápido. Por ejemplo la velocidad de cambio, o incluso por los cambios en milisegundos desde el día anterior por el cambio en el segundo actual.
Seguimos usando los números para tomar la palabra:
Tan sólo en el pasado en este mismo instante, el mundo de los datos, lo que pasó?
E-mail: 2,04 Yi Feng se emite
Google: 200 millones de veces a la solicitud de búsqueda se presente
Youtube: 2880 minutos de video se suben
Facebook: Barra de estado 69.5 Wan se actualiza
Twitter: 98000 Tiao empuje se emite
12306: 1840 entradas se agotaron
......
¿Qué tal? No está cambiando?
- Valor (densidad de valor)
La última característica es el valor de la densidad.
gran volumen de datos de los datos es grande, pero el encargado es un valor de densidad baja, el valor real de los datos, sólo una pequeña parte.
Tales como la búsqueda de la vigilancia aspecto de vídeo por los delincuentes, quizás unos pocos TB de archivos de vídeo, un valor real, sólo unos pocos segundos.
2014 bombardeos de Boston, obtener una escena de vigilancia de 10 TB de datos (incluyendo registros de la estación base móvil de comunicación de datos de imagen, cerca de las tiendas, gasolineras, quioscos y video de vigilancia proporcionado por voluntarios), finalmente encontró un sospechoso ' foto.
Valor de Big Data
Simplemente dicho valor de densidad, se trata de la esencia de la base de datos grandes, vale la pena.
El objetivo principal de datos de gran propuesta, la investigación de grandes datos en humanos, es para aprovechar el valor de datos grande por dentro.
grandes volúmenes de datos, lo que es el valor?
Ya en 1980, el famoso futurólogo Alvin Toffler en su libro "The Third Wave", el afirma claramente: "Los datos son la riqueza", y los grandes volúmenes de datos llamada "tercera ola cadenza ".
- Primera Ola: Etapa de la agricultura, hace unos 10.000 años
- Segunda Ola: etapa industrial, a partir del siglo 17
- Tercera Ola: Información sobre los estadios, desde finales de 1950
Después de entrar en el siglo 21, con el desarrollo de las etapas anteriormente mencionadas segunda y tercera, el auge de Internet móvil, la capacidad de almacenamiento de computación en nube y la capacidad de salto, grandes volúmenes de datos ha comenzado a caer, sino que también atrajo más y más atención.
2012 Foro Económico Mundial, dijo: "Los datos se ha convertido en una nueva clase de activos económicos, como la misma moneda y el oro." Esto, sin duda, el valor de los datos de grandes empujado a un nivel de altura sin precedentes.
Hoy en día, las aplicaciones de datos grandes comienzan a nuestras vidas, afectando a nuestras necesidades básicas.
La razón de por qué hay un rápido desarrollo de tales datos grande, es porque más y más industrias y empresas, comenzaron a reconocer el valor de los datos grandes, comenzaron a tratar de aprovechar el valor de participar en grandes volúmenes de datos.
Inducción, el valor de los datos grandes, principalmente a partir de dos aspectos:
1 a ayudar a las empresas a entender usuarios
análisis de correlación de datos grande, cliente y producto, la serie de relación de servicio, localice la preferencia del usuario, proporcionando así una mayor precisión, productos y servicios más orientados, mejorar el rendimiento de ventas.
Un ejemplo típico es el proveedor de electricidad.
Ali Taobao como plataforma de comercio electrónico, ha acumulado una gran cantidad de datos de usuarios de compra. En los primeros días, estos datos son engorrosos y la carga, que necesitan una gran cantidad de costos de hardware de almacenamiento. Sin embargo, estos datos son ahora más valioso activo de Ali.
Con estos datos, se puede analizar el comportamiento del usuario, los patrones de consumo de base precisa marcador de posicionamiento de clientes, preferencias de marca, distribución geográfica, con el fin de guiar el manejo operaciones comerciales, posicionamiento de marca, la comercialización y la otra promoción.
grandes volúmenes de datos pueden tener un impacto directo en el rendimiento. Su eficacia y precisión, mucho más allá de la investigación del usuario tradicional.
Además de los proveedores de electricidad, incluida la energía, el cine y la televisión, los valores, las finanzas, la agricultura, la industria, el transporte, los servicios públicos, son grandes datos inútiles.
2 a ayudar a las empresas a entender su propia
Además de ayudar a los usuarios a entender el exterior, grandes volúmenes de datos pueden ayudar a entender a sí mismo.
Producción y operación requiere una gran cantidad de recursos, grandes volúmenes de datos pueden ser analizados y las circunstancias específicas de los recursos de bloqueo, tales como la distribución de las reservas y las tendencias de la demanda. La visualización de estos recursos puede ayudar a los gerentes comprensión más intuitiva de la operación de las empresas estatales, identificar problemas más rápidamente, el ajuste oportuno de la estrategia de funcionamiento, reducir el riesgo de negocio.
Con todo, "matar al mutante". Big Data es para la toma de decisiones.
La computación en nube y de datos de gran tamaño
Aquí, tenemos que responder a muchas dudas en su corazón hay - entre grandes volúmenes de datos y computación en la nube, al final lo que es la relación?
Se puede explicar: los propios datos es una ventaja, y computación en la nube, es aprovechar el valor de los activos para proporcionar las herramientas adecuadas.
Técnicamente, los datos depende de una gran nube. , Tecnologías Big Data son la base de la nube de computación dentro de la tecnología de almacenamiento masivo de datos, tecnología de gestión de datos en masa, distribuida modelo de computación.
La computación en nube es como excavadoras, Big Data es mía. Si no hay computación en la nube, gran valor de los datos hasta quedar en nada.
Por el contrario, los datos grandes requisitos de procesamiento, sino también estimular el desarrollo de la tecnología de computación en la nube y el suelo.
Es decir, si no hay datos importantes de esta mina, esta excavadora de computación en nube, muchas funciones de gran alcance no se desarrollan.
Aplicar el viejo dicho - la computación en nube y grandes volúmenes de datos, los dos son complementarios.
datos de gran tamaño y cosas (. 5G)
El segundo problema, grandes volúmenes de datos y cosas tienen nada que ver?
El problema creo que debemos ser capaces de entender rápidamente que desee, de hecho, también se mencionó anteriormente.
Cosas es el "Internet de las cosas y objetos conectados el uno al otro." Cosas capa de percepción, lo que resulta en grandes cantidades de datos, promoverá en gran medida el desarrollo de grandes volúmenes de datos.
Del mismo modo, las aplicaciones de datos de gran tamaño también jugaron cosas de valor, revertir el estímulo de las necesidades cosas. Cada vez más empresas, se encontró que el valor del trabajo en red para obtener objetos de datos grandes, estará dispuesto a invertir en cosas.
De hecho, este problema se puede ampliar aún más a "la relación entre los grandes datos y 5G".
Próximos 5G, mediante el aumento de la velocidad de conexión, mejorar la percepción de "lo humano", también contribuyó a la iniciativa de crear datos en humanos.
Por otro lado, es más por la "Internet de las cosas" servicios. Los requisitos incluyen una baja latencia, terminales de conexión masivas y similares, todas las cosas escena.
5G estimular el desarrollo de las cosas, pero las cosas a estimular el desarrollo de grandes volúmenes de datos. Todo poderosa infraestructura de comunicaciones, están allanando el camino para el surgimiento de grandes volúmenes de datos.
cadena de la industria de Big Data
Permítanme decir la siguiente cadena de grandes volúmenes de datos.
cadena industrial, y el identificador de datos gran flujo de datos grandes están estrechamente relacionados. En pocas palabras, los datos de producción, datos agregados, análisis de datos, los datos de consumo.
Cada enlace, tiene un correspondiente jugadores de rol.
De la situación actual, los fabricantes extranjeros de datos de gran tamaño ocupan una parte más grande de la industria, especialmente en las zonas situadas aguas arriba, básicamente, las empresas extranjeras. Por el contrario, las empresas de TI internos, hay una gran brecha.
Los desafíos de grandes volúmenes de datos
Así que una palabra buena para decir la cantidad de datos que no representan grandes volúmenes de datos es perfecto.
Big Data también se enfrenta a muchos desafíos.
Además de la dificultad técnica de gestión de datos, el mayor reto de grandes volúmenes de datos es segura.
Los datos son activos, sino también la privacidad. Nadie quiere que su privacidad está expuesta, por lo que la gente es cada vez más atención a proteger su privacidad. El gobierno también está constantemente fortalecer la protección de la privacidad de los ciudadanos, hemos introducido una serie de leyes.
En este caso, el acceso a los datos del usuario, tenemos que considerar cuidadosamente si la ética y legal. Una vez ilegal, que tendrán que pagar un precio muy alto.
Además, incluso si los datos de acceso legal de la empresa, pero también preocupado acerca de si los ataques maliciosos y el robo. Hay un riesgo que no puede ser ignorada.
Además de la seguridad, los datos grandes que se enfrentan con problemas de consumo de energía.
En otras palabras, si no protege adecuadamente y utilizar las manos de grandes volúmenes de datos, entonces es una patata caliente, no puede ser que también no.
