2018年广东工业大学文远知行杯新生程序设计竞赛 1007 活在无尽梦境的后续 β
版权声明：欢迎转载，如果转载，请注明转载地址，谢谢！ https://blog.csdn.net/qq_40763929/article/details/84675610 Problem Description In the world line 1.048596% ——咲太小弟，我认为啊，人生是为了变温柔而存在的。 ——为了达到『温柔』这个目标，我努力活到现在。 在梓川花枫患有解离性障碍以后，失去了所有的记忆，忘记了自己是谁。 “我们会把自己的知觉，意识与记忆整合在一起，认定这就是‘自己’。
2018年广东工业大学文远知行杯新生程序设计竞赛 1010 温柔的手彼此相系β
版权声明：欢迎转载，如果转载，请注明转载地址，谢谢！ https://blog.csdn.net/qq_40763929/article/details/84675623 Problem Description In the world line 1.048596% 回到了比过去还遥远的过去，拯救了牧之原翔子和樱岛麻衣后，世界重归平静。 时间转眼就到了正月新年。梓川咲太却颇不宁静。 “有的时候记住一个电话号码的方法即使把他写成一个容易记住的单词或者短语。比如说要打电话给维克多·孔多利亚大学脑科
2018年广东工业大学文远知行杯新生程序设计竞赛 1012 只有我不在的世界β
版权声明：欢迎转载，如果转载，请注明转载地址，谢谢！ https://blog.csdn.net/qq_40763929/article/details/84675646 Problem Description In the world line 1.048596% 现在可不是失落的时候，自己还有能够依靠的人。 麻衣一定会找到我的——梓川咲太如此坚信着。 所以，他不会就这样作为一个透明人活下去，他一定会很快回到原来的生活中，他必须按照原来的步调进行生活。 课程只用上半天，就算是被世界遗忘的梓川
2018年广东工业大学文远知行杯新生程序设计竞赛 1013 在那天的雪停息之前β
版权声明：欢迎转载，如果转载，请注明转载地址，谢谢！ https://blog.csdn.net/qq_40763929/article/details/84675663 Problem Description In the world line 1.048596% 麻衣的鲜血逐渐将洁白而冰冷的绒毯染成鲜红...... 鲜红...... 究竟是多少次看到这样的情境呢？梓川咲太的心已经麻木了。 为了挽救在12月24四日为了梓川咲太而献身的樱岛麻衣。在牧之原翔子的帮助下，咲太踏上了时间之旅。 梓川
keras学习笔记（三）
数据归一化 通过上次对cifar10数据集分类的任务，我的分类精度在0.79，但是当我对输入的数据做了归一化后，精度达到了0.99，实现的语句如下：
X_train = X_train.astype('float32')/255
X_test = X_test.astype('float32')/255
Y_train =Y_train.reshape(Y_train.shape[0])/10
Y_test = Y_test.reshape(Y_test.shape[0])/10 对输入进行
Compressed Video Action Recognition论文笔记
Compressed Video Action Recognition论文笔记 这是一篇2018年的CVPR论文。做了关键内容的记录。对于细节要去论文中认真找。 摘要：训练一个稳定的视频表示比学习深度图像表示更加具有挑战性。由于原始视频的尺寸巨大，时间信息大量冗余，那些真正有用的信号通常被大量的无关数据淹没，通过视频压缩可以将信息量减少多达两个数量级。我们提出直接在神经网络上训练压缩的视频。这种表示的特征有更高的信息密度，训练起来更加简单。在动作识别的任务上，我们的方法优于UCF-101，HM
超详细的Spark任务流程图带你走进Spark!
一道简单的命令下去 … … 10秒过去了， … … 20秒过去了， … … 哇，报错了。。。 相信这种场景在我们用 Mapreduce 处理数据的时候相当常见吧，不得不说，Mapreduce 的处理速度有时候真的让我们不敢恭维，那么我们今天就来学习一下号称比它快了 N 倍的Spark。 先来看一下Spark的整体任务流程图 第一步：调用RDD上的方法构建DAG 第二步：DAGSchedule将Stage切分，并将生成的Task以TakeSet的形式传给TaskScheduler 第三步：Tas
两种超详细的远程连接工具介绍（从安装到使用）
众所周知，个人电脑与服务器不同，服务器一般都是运行在IDC机房中，我们通常不会直接接触到服务器硬件，而是通过各种远程方式对服务器进行控制。于是远程连接工具便应运而生了，下面简单介绍一种常用的 linux 连接工具。
一、 Notepad++ Notepad++是一套非常有特色的自由软件的纯文字编辑器，有完整的中文化接口及支持多国语言 编写的功能。现在用Notepad++来远程编辑Linux系统文本文件。 Notepad++使用 1. 网上下载Nodepad++并安装。 2. 打开Nodepa
大数据Hadoop之HDFS模块《》
相信看到这篇文章的对于Hadoop已经有了一点的理解，那么咱们废话少说，直接进入正题。
**《一》HDFS的概念**
先来看一个问题： 什么是HDFS？它有什么用？
**HDFS**，一个高可靠、高容错、高吞吐量，适合大规模数据集应用的分布式文件存储系统。所谓分布式，就是指将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用
大数据Hadoop之HDFS模块《二》
上篇我们介绍了hdfs的一些概念和优缺点那么我们这篇便来说说hdfs的读写流程和一些常用的命令：
《一》读写流程
一、hdfs 读流程（下载文件）
1） client向namenode发出下载请求，namenode查询元数据信息，找到文件块所在的datanode，返回给client。
2） client从返回的datanode中选择（就近原则，再随机）一个，请求下载。
3） datanode开始传输数据给clent（从磁盘读取数据到输入流，并
大数据Hadoopx之HDFS模块中那些你可能不知道的小知识！
再给大家分享一些小知识，一起来瞧瞧吧！ 一、namenode & secondarynamenode 1）namenode启动（namenode格式化时会创建fsimage，edits两个文件，如果不是第一次启动，会直接加载这两个文件到内存）。 2）secondarynamenode向namenode发出请求执行checkpoint（默认是一个小时请求执行一次，或者操作达到一百万次请求执行一次） 3） namenode滚动正在写的edits日志，将滚动前的fsimage和edit
Linux命令大全《上》
闲来无事，今天给大家介绍一些 linux 的常用命令，希望能对大家有所帮助！ 一、存储方式：Linux 里面的存储方式都是文件
二、目录操作
cd / 切换到系统根目录
cd ../ 切回上级目录
cd + 目录名 切换到该目录
cd - 切换到选择该目录之前所在的目录
mkdir + 目录名称 创建新目录
mkdir + 目录1 + 目录2 一次性创建多个目录(各目录中间用
Linux命令大全《下》
补充一下上篇没有介绍完的Linux命令，上篇命令 https://blog.csdn.net/Forever_ck/article/details/84553672 好了，不说废话了，直接进入正题： 命令补充：
grep MemTotal /proc/meminfo 查看总内存
find / -size +200M -exec du -h {} \ 查看超过200M的文件
grep MemFree /proc/meminfo 查看空闲内存量
cat /proc/cpuinfo 查看cpu
关于Hadoop集群中使用SSH免密登录的详细操作！
很多时候，在我们操作不同的虚拟机时，常常因为一些需要密码的操作，因此，各虚拟机之间的免密设置必不可少。那么这篇我们就来介绍关于虚拟机之间配置SSH免密操作的详细流程！ 准备条件：两台以上的虚拟机，因为想要给大家介绍关于Hadoop集群的搭建，所以我这边准备了三台虚拟机，分别为： hadoop01,hadoop02,hadoop03 闲话少叙，开始咯： 重点：你要确保你有操作权限，这一点一定要记得！！！
一定要记得！！！ 一定要记得！
重要的事情说三遍！！！
第一步：在任
关于MapReduce详细工作流程，你真的都知道吗？？
毫无疑问，Hadoop 里面最复杂的是MapReduce，那么今天咱们就来看看它的整体工作流程： 怎么样？是不是懵了？ 简单说下我的理解： 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束，具体 shuffle 过程详解，如下： 1. maptask收集我们的 map()方法输出的 kv对，放到内存缓冲区中
2. 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
3. 多个溢出文件会被合并成大的溢出文件
4. 在溢出过程中，
MapReduce中的HelloWorld，安排一下？
相信绝大多数程序员在看到 HelloWorld这个词的时候，总会情不自禁的翘起嘴角吧！虽然早已离开了校园，但每每看到这个词，我总会自然而然地想起曾经和我的那群“狐朋狗友”在大学里肆无忌惮敲代码的日子。。。 似乎有点跑题了（尴尬脸），看了上篇的原理，是不是手痒，想来操作一下了！ https://blog.csdn.net/Forever_ck/article/details/84589932 下面我们就来看看MapReduce里的“helloworld”，也就是WorldCount。 先来看下需
大数据数仓之Hive入门《一》
一 、Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。它是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质就是：将HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运行在 Yarn 上 1.2 Hive 的优缺点 1.2.1 优点 1）操作接口采用类 SQL 语法，
三秒＋一个小Demo，轻松掌握Hive中的 列转行、行转列！！！
闲话少叙，直接开干！ 先看Demo： 一、行转列 首先，我们需要收集数据，创建一个文件，内容如下： 一、启动Hive，创建表并导入数据： 1.1 创建表 create table test(name string,xingzuo string,xuexing string)
row format delimited fields delimated by "\t";
1.2 导入数据 load data local inpath "找到你所创建的文件" into table test
FreeBSD配置SSH允许root通过密钥登录
FreeBSD安装完，默认不允许root通过ssh登录，以下步骤可实现root用户通过密钥远程登录，同时禁用密码登录。 1.在主机终端编辑ssh配置文件，使root可以通过密码登录 # ee /etc/ssh/sshd_config PermitRootLogin yes
PubkeyAuthentication yes
PermitEmptyPasswords no
PasswordAuthentication yes 2.重启SSH服务器 # /etc/rc.d/sshd restart
今日推荐
周排行