Pensamientos derivados de lo que puede hacer Business Intelligence BI
Resumen
Inteligencia empresarial, BI, Spark, hive, ETL, powerBI, FineBI, PaddlePaddle, inteligencia artificial, minería de datos, DBA, logística, modelado de perfiles de usuario
Prefacio
En mi plan de estudios desde mediados de septiembre hasta mediados de diciembre , quería encontrar una manera de aprender mi propia dirección para hacerme más valiosa. Primero trate de determinar la dirección de su propio desarrollo analizando su propio posicionamiento. Partiendo de lo que seré y de lo que me interesa, preparo la pila de tecnología, en ese momento todavía era relativamente vaga y estaba explorando.
Hoy (18/9) se me ocurrió de repente que puedo combinar con el trabajo sin torpes, y qué trabajo planeo hacer en medio año, luego prepararé la pila de tecnología y el portafolio de este trabajo.
De hecho, cuando aprendo tecnología, todavía encuentro trabajo. Después de todo, los ideales necesitan un apoyo integral. Si aprendo mucha tecnología pero no puedo encontrar un trabajo, no me ayudará a seguir haciendo tecnología.
Cuando surgió esta idea, inmediatamente comencé a buscar puestos relacionados con el análisis de datos y negocios. Luego, prepare sus propias habilidades a través de los requisitos de habilidades de estos puestos.
Directorio de artículos
Mira BI desde el gancho
Programación orientada al trabajo. Cuando un trabajo está maduro en el mercado, el trabajo se especializará y evolucionará hacia un tipo de trabajo que puede fortalecerse en función de las habilidades laborales para ser competente para el trabajo.
El análisis de datos comerciales en el mercado ha existido durante varios años, por lo que es lógico que deba generalizarse. Así que intenté buscar BI (Business Intelligence) en Boss Direct Recruitment y Lagou, y descubrí los requisitos laborales correspondientes.
En las notas de contabilidad (Lección 1) , he buscado el puesto de analista de datos, pero todavía recopilo datos de visualización de datos de proceso de datos. Siempre se siente como si algo fuera un poco corto, pero si lo piensa detenidamente, no debe combinarse con negocios (negocios).
En la tecnología del analista de datos que estoy buscando, se dice
Las tres habilidades requeridas para el análisis de datos comerciales se pueden resumir en la tabla.
- Base de datos: Competente en SQL, familiarizado con herramientas de base de datos como Spark y Hive.
- Procesamiento de datos: utilice Python, familiarizado con las estadísticas de datos y los métodos de análisis de uso común;
- Visualización de datos: tableau, powerBI.
De hecho, es similar a crear un sitio web, obtener datos, procesar datos y mostrar datos. Entre ellos, modelos de aprendizaje automático, informes de datos, Spark, Hive y otras herramientas de base de datos, análisis de Python, powerBI y otras herramientas de visualización de datos aún no se han puesto en contacto conmigo, así que puedo averiguarlo.
Pero todavía hay algunas ganancias, al menos dejemos que el análisis de datos aterrice. Sentí que el análisis de datos era casi algo, y resultó ser pobre en la dirección del análisis. Al fin y al cabo, da vergüenza decir que hay tantas cosas, pero al final sin saber qué hacer.
Ver BI desde la base de datos
Es el segundo día y no lo terminé ayer, así que agregué la última parte. Hoy (19/9) debido a un mensaje de texto enviado por CSDN en el teléfono móvil-Baidu Smart Cloud TechDay Computing & Network Technology Innovation Salon-Beijing Station. Luego busqué TechDay Computing & Network Technology Innovation Salon. Hice clic en un enlace de Alibaba Cloud (algunos son divertidos, originalmente buscados por Baidu TechDay, pero fui a ver el TechDay de Ali).
Este enlace habla sobre el tema número uno en la nube . Es el 9 de junio de 2020. Hable sobre la tecnología de base de datos tradicional y la base de datos nativa de Alibaba Cloud. El anfitrión es Hulan (Maestría en Ciencias Actuariales, Universidad de Columbia), y los invitados incluyen a Li Feifei (Vicepresidente de Alibaba Group, Jefe de Alibaba Cloud Database, Científico Jefe de la Academia Dharma, Científico Destacado de ACM), Gai Guoqiang (Oracle), Chen Gang (Decano de la Facultad de Ciencias de la Computación, Universidad de Zhejiang). Todos son grandes nombres en la base de datos.
Al principio simplemente hice clic y lo miré de manera casual. No esperaba que el contenido fuera bueno y me atrajo.
La ansiedad de los programadores de mediana edad. Escribir código se ha convertido en una empresa que requiere mucha mano de obra. DBA. Planifique con anticipación. Los programadores también son escritores. La ansiedad es normal. Debe tener una sensación de crisis para seguir aprendiendo. No haga su debut como su pico. Aquellos que aman la ansiedad no tienen mala suerte.
Informe de análisis de la industria de Maimai "10 años de cambios en la industria de TI 2009-2019". Cambios en empresas populares. Dijo el cambio de trabajo caliente. Solía ser un trabajo duro, pero ahora resiste la presión. Década de oro. Explosión tecnológica. Las bases de datos tradicionales han pasado por la era más gloriosa. Hace diez años, el puesto más popular era DBA, ahora es arquitecto de datos y analista de algoritmos. DBA es ejecutar SQL, transferir datos y ejecutar SQL de otras personas. Los cambios en el medio ambiente han provocado una explosión de especies. La explosión tecnológica trae oportunidades y ajustes. Los cambios son rápidos. Entrada normal, mediante programa de escritura, salida. La abuela de 70 años se conecta automáticamente a WiFi, código portátil, etc .; el cambio es grande. Alipay abre varios códigos verdes.
¿A dónde van el DBA y la operación y el mantenimiento de la industria? Los practicantes están ansiosos, específicamente ansiosos. En la última milla de la base de datos, DBA tiene el futuro. Trescientos mil administradores de bases de datos han pasado sin problemas a la era de la nube. La etapa inicial de la base de datos en la nube. No se preocupe demasiado, hay oportunidades y oportunidades en todas partes. Todo en el pasado es un prólogo. Nueva tecnología. La productividad más avanzada. Para la operación y el mantenimiento, la base de datos es fundamental. Quien gana ecología tiene futuro. Un motor principal y un motor de reserva.
Tema interactivo. ¿Es difícil para los ingenieros de bases de datos tradicionales transformar? Haga esfuerzos para prepararse para la transformación. (Instalación, respaldo, operación, monitoreo, inspección de bases de datos), evolucionar a arquitecto de datos e ingeniero de algoritmos. El DBA no ha cambiado mucho, en pequeños cambios, no quiero otros campos de TI. Pero las bases de datos en la nube son la tendencia. Pozos de agua (base de datos comercial) y plantas de agua (agrupación de recursos). La alta disponibilidad es irreversible. La epidemia llevó a las empresas a la nube. Construye tu propia máquina, consumo de recursos. La tendencia general, reconocer la situación, seguir la tendencia y aceptar los cambios.
¿Cuáles son las diferencias y similitudes entre las bases de datos nativas en la nube y las bases de datos tradicionales a nivel técnico y de producto, y a qué se debe prestar atención durante el proceso de transformación? Capa superior (lavado de automóviles), capa intermedia (construcción de automóviles). Altamente compatible con la ecología existente. La tecnología central de la base de datos en la nube: nativa en la nube, distribuida, inteligente, segura y factible, integración profunda de la tecnología de bases de datos y big data; 5G + IoT para bases de datos multimodo. El coche de gasolina ha llegado al coche eléctrico. Cosas nuevas. La Gala del Festival de Primavera se coló en la noche con el viento, humedeciendo las cosas en silencio. Los coches eléctricos están preocupados por quedarse sin electricidad, los coches de gas son fiables.
Bastante bien (no escribí todas las líneas en detalle arriba, el conocimiento enumera las palabras clave, el interés vale la pena verlo, la calidad es alta y lo leí tres veces), el anfitrión hizo la pregunta y luego el representante de la base de datos tradicional dijo su opinión Luego, el representante de la base de datos nativa en la nube expresó sus puntos de vista y los profesores académicos expresaron sus puntos de vista. Finalmente, discutan juntos.
Obviamente, la base de datos tradicional representa la experiencia industrial de la base de datos tradicional Oracle; el representante de la base de datos nativa en la nube representa la experiencia industrial de Alibaba Cloud; los profesores académicos representan las opiniones de la comunidad académica.
La combinación de estos tres puntos de vista es muy interesante. Además, desde un punto de vista, la importancia de este video es permitir que los técnicos comprendan las bases de datos en la nube.
Frase inspiradora
Hace diez años, el puesto más popular era DBA, ahora es arquitecto de datos y analista de algoritmos. El futuro también cambiará. Las personas que aman la ansiedad no tendrán mala suerte (sensación de crisis, tomar precauciones).
Todo en el pasado es un prólogo. Desde otra perspectiva, no se trata de un reemplazo de la industria, sino del progreso de la industria. El pasado es un prólogo, ahora comienzo mi historia.
Un motor principal y un motor de reserva, tanto de código abierto como comercial, son adecuados. Lo mismo ocurre con la tecnología de aprendizaje, hay una habilidad adicional. Evita los cisnes negros. Los negocios serán repentinos. Como una gran recomendación de V.
Pozos de agua (base de datos comercial) y plantas de agua (agrupación de recursos). Esta es la tendencia.
Algunos debuts tecnológicos tienen salarios altos, pero en realidad son una recompensa por la transformación frecuente y rápida de esta industria. Habrá una gran mejora hace un año y ahora.
5G + IoT frente a base de datos multimodo. Integración de borde en la nube.
Analizando BI desde Big Data espacio-temporal
Después de leer la base de datos en la nube, tenía grandes expectativas para estas grandes charlas. Luego hice clic en otros enlaces y descubrí que la mayoría de ellos hablaban personalmente en PPT o presentaban productos. Lleno de alegría. Sin embargo, se habla de [Logistics Technology Review] Número 9 01: Varias tecnologías y aplicaciones de big data de espacio-tiempo , que es bastante bueno. Cuando trabajo, también trabajo en una empresa de big data espacio-temporal. Estoy muy interesado en los cambios en tiempo real de la geografía espacial en el mapa.
Los escenarios de aplicación de este big data espacio-temporal son muy amplios. Como logística, metro, transporte, precios de la vivienda, planificación de rutas, etc.
El contenido del procesamiento de big data espacio-temporal es la información espacial y temporal del objeto, y los datos que deben obtenerse son información espacial, etc .; luego se procesa la información; luego se muestra la información; y finalmente se saca una conclusión.
El contenido del procesamiento de inteligencia empresarial es la información del informe. Debe obtener los datos del informe, luego procesar los datos del informe y, finalmente, mostrar los datos del informe.
Pero las empresas también necesitan tiempo y espacio. Algunos productos básicos están estrechamente relacionados con regiones y trimestres.
Explicación de términos profesionales
Chispa - chispear
Apache Spark es un motor informático rápido y versátil diseñado para el procesamiento de datos a gran escala.
Spark tiene tres características principales:
- En primer lugar, la API de alto nivel elimina el enfoque del clúster en sí, y los desarrolladores de aplicaciones Spark pueden concentrarse en el cálculo en sí mismo que la aplicación necesita hacer.
- En segundo lugar, Spark es muy rápido y admite computación interactiva y algoritmos complejos.
- Finalmente, Spark es un motor de propósito general que se puede usar para completar una variedad de operaciones, incluidas consultas SQL, procesamiento de texto, aprendizaje automático, etc., y antes de la aparición de Spark, generalmente necesitamos aprender una variedad de motores para manejarlos por separado. demanda.
En resumen, Spark es un motor de propósito general que puede realizar consultas SQL (sparksql), procesamiento de texto (sparkStreaming), aprendizaje automático (MLlib) y procesamiento de gráficos GraphX.
Colmena
Hive es una herramienta de almacenamiento de datos basada en Hadoop para la extracción, transformación y carga de datos. Este es un mecanismo que puede almacenar, consultar y analizar datos a gran escala almacenados en Hadoop.
Parece que SparkSQL es mejor. La función es más completa.
ETL
Tecnología ETL (extracción-transformación-carga). Se utiliza para extraer, transformar y cargar datos desde el origen al destino. El término ETL a menudo aparece en los almacenes de datos, pero no se limita a los almacenes de datos.
ETL es el proceso de extraer, limpiar y transformar los datos del sistema empresarial y luego cargarlos en el almacén de datos. El propósito es integrar los datos dispersos, desordenados e inconsistentes en la empresa para proporcionar una base de análisis para la toma de decisiones de la empresa. ETL es BI ( Business Intelligence ) Una parte importante del proyecto.
Este enlace es interesante. Imaginé esta parte del trabajo antes, en ese momento clasifiqué esta parte como la base de datos. Sin embargo, conviene extraer esta parte del trabajo de la base de datos.
A través del diseño, mejore la eficiencia del uso de la base de datos.
Inteligencia de Negocio
Introducción a la inteligencia empresarial
Business Intelligence (Business Intelligence, también conocida como BI), también conocida como inteligencia empresarial o inteligencia empresarial, se refiere al uso de tecnología moderna de almacenamiento de datos, tecnología de análisis y procesamiento en línea, minería de datos y tecnología de visualización de datos para que el análisis de datos logre valor comercial.
La inteligencia empresarial se entiende generalmente como una herramienta que transforma los datos existentes en una empresa en conocimiento y ayuda a la empresa a tomar decisiones acertadas sobre las operaciones comerciales.
En definitiva, una herramienta para ayudar a las empresas a tomar decisiones. Es una etapa avanzada de los informes industriales tradicionales. Esta inteligencia empresarial es más científica y completa, y puede analizar mucha información para ayudar a los tomadores de decisiones a analizar. Y también es en tiempo real.
Desde una perspectiva técnica, la inteligencia empresarial no es una tecnología nueva, es solo una aplicación integral de almacenamiento de datos, OLAP y tecnologías de minería de datos.
- El almacén de datos es para almacenar los informes en la base de datos y la pila de tecnología utilizada es SQL y Spark;
- El análisis y procesamiento en línea es la presentación y el procesamiento de datos. La pila de tecnología utilizada es la pila de tecnología back-end y la pila de tecnología front-end;
- La minería de datos es encontrar la relación entre los datos, la pila de tecnología utilizada es Python (biblioteca de inteligencia artificial).
La implementación de un sistema de inteligencia empresarial es una ingeniería de sistema compleja. Los pasos generales de implementación son:
Análisis de requisitos: recopile las necesidades de la empresa, qué datos desea sacar de qué conclusiones;
Modelado de almacén de datos: Analice las necesidades de la empresa y establezca el modelo lógico y el modelo físico del almacén de datos empresarial;
Extracción de datos: extraiga datos del sistema empresarial al almacén de datos. Los datos deben convertirse y limpiarse en el proceso de extracción para satisfacer las necesidades de análisis;
Establecimiento de informes de análisis de inteligencia empresarial: visualización de datos
Prueba de simulación de datos y capacitación de usuarios: para uso de los usuarios;
Mejora y perfección del sistema: actualización iterativa
Este es el estudio de viabilidad, análisis de requisitos, diseño, codificación, pruebas, integración y mantenimiento de la ingeniería de software . Se siente tan interesante. Las cosas que se enseñan en la universidad son realmente como habilidades internas, una panacea, que se pueden usar en cualquier lugar.
powerBI
Power BI es el concepto de inteligencia empresarial (BI) más reciente de Microsoft, que contiene una serie de componentes y herramientas. Puede sobresalir y Power BI, fácil de usar. La operación es básicamente arrastrar y soltar, pero su capacidad de análisis exploratorio es limitada, pero la función es simple.
La colección de tutoriales de PowerBI en powerBI puede ver lo que se puede hacer.
Después de leer el análisis de los estados financieros de Power BI , tengo una comprensión general de lo que puede hacer powerBI. En pocas palabras, PowerBI se puede utilizar para capturar datos, almacenar datos, crear modelos de datos, visualizar (crear informes, calcular indicadores y visualizar) y generar informes.
El análisis de datos se puede cortar a través de powerBI. Haz análisis de negocios.
Mirando las clasificaciones, parece que fineBI es más popular que powerBI. Puedes probar.
Paleta
Marco de inteligencia artificial de Baidu. Puede utilizarse para minería de datos.
Vocabulario relacionado: Python, Numpy, reconocimiento de números, visión por computadora (clasificación de imágenes, detección de objetivos), procesamiento de lenguaje natural NLP (lista de capítulos generada automáticamente), recomendación personalizada (anuncios push, películas push, Douyin).
Puede cortar la inteligencia artificial utilizando PaddlePaddle. Haz inteligencia empresarial.
Artículo complementario
¿La diferencia entre análisis de datos e inteligencia empresarial?
Lo que pienso del análisis de datos son estadísticas;
Y la inteligencia empresarial no es solo estadísticas, sino también inteligencia artificial para la minería de datos para descubrir la correlación entre datos irrelevantes. Brinde más información para los tomadores de decisiones.
Modelado de retratos de usuarios : métodos y herramientas-zhihu
Mi entendimiento final
El lado mejor es comprender la diferencia entre inteligencia empresarial y análisis empresarial.
La inteligencia empresarial puede encontrar información fuera de las estadísticas y utilizar la inteligencia artificial para encontrar la correlación entre los datos.
Pero en términos generales, el análisis empresarial ha realizado análisis estadístico empresarial. La inteligencia artificial no solo cuenta, sino que también encuentra correlación.
Utilice FineBI para introducirse en el análisis empresarial; utilice PaddlePaddle para introducirse en la inteligencia empresarial;
Vi a un blogger Leo.yuan , que está relacionado con la inteligencia empresarial, que no está nada mal. Compruébalo más tarde.
Escuchar a mi compañera de cuarto charlando con mi novia y yo no charlar con ella, es muy aburrido. Demasiado vago para concluir.
Dirección de actualización: GitHub
Para obtener más contenido, preste atención a: CSDN , GitHub , Nuggets