2.Apache Zeppelin0.9.0 Spark Basic Features 第2次执行Load datainto table时报URI is not absolute（todo）
一、问题问题描述:Spark Basic Features 第2次执行Load datainto table时报java.lang.IllegalArgumentException: URI is not absolute和这哥们遇到的一样，他描述的很详细我就不赘述了（https://www.mail-archive.com/[email protected]/msg25696.html）二、解决（todo）这个问题是zeppelin的bug，目前还没解决。在zeppelin团队的
3.Apache Zeppelin0.9.0 flink basic 官方示例 Batch WordCount 执行报错FLINK_HOME dosen‘t exists（todo）
版本：zeppelin=Apache Depelin0.9.0-preview1CDH=CDH6.2.0Flink=Flink1.9.0一、问题flink basic 官方示例任务 Batch WordCount 执行报错二、解决（todo）cd $ZEPPELIN_HOME/confvim zeppelin-env.sh#添加或修改,内容如下export FLINK_HOME=/opt/cloudera/parcels/FLINK1.打开界面，点击右上角2.点击Interpr
9.leetcode 回文数（简单）
leetcode python 刷题记录，从易到难相似题目：整数反转一、题目二、解答1.思路转换成字符串，判断反转后的和未反转的是否相等，相等返回True，否则返回False。2.实现class Solution(object): def isPalindrome(self, x): """ :type x: int :rtype: bool """ result = str(x)
13.leetcode 罗马数字转整数（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路准备好对应的码表。分两种情况，第一种情况正常数字，III,MM之类的就直接加起来就好；第二种情况特殊数字，IV,IX之类的，相当于先减再加。总结起来就是，前大后小的，相加即可。前小后大用累加值减去小值。2.实现class Solution(object): def romanToInt(self, s): """ :type s: str :rtype: i
14.leetcode 最长公共前缀（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路遍历数组，保存第一个单词的第一个字母，判断其他的单词是否包含这个字母，且位于首位，如果包含，那么判断其他单词是否包含第一个单词的前两个字母，如果包含且位于首位，则继续找包含前三位的，依次类推。如果不包含，则退出返回保存的前缀。2.实现...
1.Datax 源码阅读记录 datax.py
Datax 源码阅读记录1.阅读思路，从python $DATAX_HOME/bin/datax.py job.json命令执行开始到执行结束。2.阅读顺序图片来自https://www.jianshu.com/p/e63c40434fc1datax.py一.github地址https://github.com/alibaba/DataX/blob/master/core/src/main/bin/datax.py二.源码与注释（main函数注释是我加的）#!/usr/bin/env py
20.leetcode 有效的括号（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路对输入参数做判断字符串长度为奇数直接返回False字符串为空字符串，返回True处理逻辑定义一个映射方便找根据左括号找到右括号定义一个list作为栈遍历字符串的每个字符如果是左括号就放入栈如果是右括号则与弹出的栈顶元素比对如果是不是一对，就返回False遍历完字符串后，如果栈的长度为0，返回True，不等于零则返回False2.实现class Solution(object): def
21.leetcode 合并两个有序链表（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路定义一个空链表，定义另一个空链表等于前面的空链表。循环遍历两个链表，挨个判断两个节点之间的大小，如果是小的，放到空链表后，小的那个节点指针后移，同时空链表指针后移，直到有一个节点为空时退出循环。之后把另一个链表尚未遍历完的部分添加到空链表后面，至此拼接完成。2.实现class Solution(object): def mergeTwoLists(self, l1, l2): """
2.hive 中查询 映射hbase的映射表报错unable to create manager for /var/log/hive/operation_logs/
一、问题问题详细描述：查询报错命令行查询hive映射hbase表时报unable to create manager for /var/log/hive/operation_logs/，结果可以查询出来而且可以打印到控制台，但会输出一大堆看起来很不舒服的日志。sql查询语句如下：select * from hive_map_hbase_test1 limit 100;日志如下：2020-08-10 18:38:42,649 main ERROR Unable to invoke factor
1.Mysql 插入数据 阻塞
一、问题问题描述：调试spark程序时，控制台打印阻塞在插入数据那debug发现程序阻塞在saveAndFlush()程序功能描述：spark wordcount 计算结果写入mysql二、解决1.打开mysql命令行查看了下进程列表show processlist;发现要插入的表存在7个sleep的进程，且Time大于20002.生成结束进程命令SELECT GROUP_CONCAT(CONCAT('kill ',id) SEPARATOR '; ') AS cmd FROM in
26.leetcode 删除排序数组中的重复项（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路遍历数组，创建两个指针a和b，a指向索引为0的，b指向索引为1的。b不断往后走，如果a指向的元素和b指向的元素不同时，把b和a后面（a索引加1）的元素互换，同时a索引后移1。2.实现class Solution: def removeDuplicates(self, nums) -> int: i = 0 for j in range(i + 1, len(nums)):
27.leetcode 移除元素（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路本题和26思路类似。创建两个指针指向0，遍历数组，当i指向元素等于指定数字时，i加一2.实现class Solution: # execute time out def removeElement(self, nums, val): if not nums: return 0 i = 0 j = 0 while i
1.Docker 启动 postgresql数据库报错The container name “/postgres“ is already in use by container
一、问题启动postgresql数据库报错启动命令docker run --name postgres -e POSTGRES_PASSWORD=123456 -p 5432:5432 -d postgres:9.6日志docker: Error response from daemon: Conflict. The container name "/postgres" is already in use by container "5305e20894e37b4ee2ebf7bc98847e9
28.leetcode 实现 strStr()（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路非空判断遍历目标字符串，挨个比对，如果当前字符等于要找的目标字符那就再判断当前索引到要找的字符串长度加当前索引的位置的字符串是否要找的目标字符串如果找到了，那就放回当前索引找不到返回-12.实现class Solution: def strStr(self, haystack: str, needle: str) -> int: if not needle:
35.leetcode 搜索插入位置（简单）
leetcode python 刷题记录，从易到难一、题目二、解答1.思路分三种情况插入位置在开头，直接返回0即可插入位置在中间，遍历数组，如果当前元素等于插入元素，则返回当前元素的索引。如果当前元素大于插入元素，则返回当前元素的索引遍历完元素后，发现插入元素在目标数组中不存在，此时数组长度所在的索引就是目标索引2.实现class Solution: def searchInsert(self, nums: List[int], target: int) -> int:
3.shell 执行脚本安装二次开发后的Apache Dolphinscheduler时报‘$\r’ command not found
一、问题运行二次开发后的Apache Dolphinscheduler安装脚本时报‘\r’ command not fand执行命令sh install.sh已经安装好了就没必要去重现了，报错日志类似下图二、解决1.思路\r\n是windows下的换行符\n是unix下的换行符看报错应该是文件格式的问题打开一个报错中出现的文件，查看格式vim start-all.sh:set ff发现果然是dos2、解决下载dos2unixyum -y install dos2unix
1.javascript 自动定时刷新网页脚本
一、问题跑一些spark任务时要运行很久，每次想看最新进度都要手动刷新一下，手按F5按多了很累，就想为什么不搞个自动刷新脚本呢二、解决1.思路输入时间间隔如果时间间隔大于0那么每次时间超过输入的时间间隔后，执行reload2.实现var timeout = prompt("设置刷新时间间隔[S]"); var current = location.href; if(timeout > 0) { setTimeout('reloa
2.Apache Spark sql 一次80000并行度sql的优化经历
一、问题一位同事遇到的问题他调试spark sql任务时发现，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示二、解决1.排查过程先看了下入参的hive表下的文件个数su hdfshdfs dfs -count /user/hive/warehouse/database_name.db/table_name发现对应的文件数刚好是和spark任务并行度一样的81835这说明sparksql里的where的过滤没有生效又看了下where里的字段
2.Apache Kylin 清理存储 kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true 进入阻塞状态
一、问题kylin在hive中和hbase中创建了太多中间表，于是想要清理一下，执行官方提供的清理命令时进入阻塞状态，这个命令之前运行过是没问题的清理命令${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true在等待了10分钟后，终于决定停掉看看这个命令是什么原理。二、解决其实是先想到思路二，在按照思路二干的时候突然想到思路一的。由于思路一更快的解决了问题，所以就把思路一放到了前面。
1.python 根据 oracle字段名和类型 生成 hive建表语句
一、问题遇到一个场景，要根据oracle表结构创建hive表。本来想写一个根据oracle信息和表名自动在hive中创建表的脚本。如果在集群运行，python操作oracle的cx_Oracle在集群的每个结点都需要安装，时间紧急，干活要紧，先凑合写个脚本本地用着吧二、解决# -*- coding=utf8 -*-class GetHiveDDLFromOracleMeta: def get_oralce_2_hive_datatype_map(self): type_m
今日推荐
周排行