本文内容主要整理自Stack Overflow的问题：Difference between mkdir() and mkdirs() in java for java.io.File [closed] 问题起源最近在实习工作中，将项目部署到新环境的服务器中时，遇到了mkdir()失败的问题。原因是在项目中配置的路径信息在新服务器上不存在，而且该路径是多层目录结构，mkdir()在多层目录不存在的情况下会执行失败。但是如果手动去多个环境中挨个创建目录，工作实在是太繁琐。所以查资料寻找解决方案，这里发现了mkdirs()方法，顺利解决问题。看到stack overflow上对该问题的解释很XX ...

替换空格题目描述请实现一个函数，将一个字符串中的空格替换成 “%20”。例如，当字符串为 We Are Happy. 则经过替换之后的字符串为 We%20Are%20Happy。 时间限制：1 秒 空间限制：32768K 代码12345678910111213141516171819202122232425/** * @author Think * @since 2016-12-19 11:18:00 */public class Solution { public String replaceSpace(StringBuffer str) { in ...

根据书本引导构建的一个Django Blog Demo，还很简陋。主要为引导用户熟悉Django的流程，以及运作原理。 主要设置项为setting.py文件。具体的更改数据库，配置数据库参数，时区等都可以在这里配置。更多设置项可以参考文件里的注释链接查阅官方文档进行更改。 Python版本：3.5.2，Django版本：(1, 9, 7, ‘final’, 0)。 运行配置完是数据库后，首先在manage.py统计目录下运行下列两个命令使数据库生效。 1$ manage.py makemigrations [appname] #appname 即为此& ...

在平时做实验的过程中，经常需要生成一些测试数据，比如指定文件大小、文件记录数，以及文本型、数字型数据等要求。本文记录使用Python生成指定大小的文件和生成指定数量的数据文件两种方式，以及另一个Python小程序，可以读取文件验证文件的行数，即记录数。 以下程序均为Python3版本。 生成指定大小的文件12345678910111213141516171819202122#!/usr/bin/env python#-*- coding:utf-8 -*-import osimport randomdef genSizeFile(fileName, fileSize): #file pat ...

常用Spark监控Tab最近用Spark做任务，中间来回配置集群环境，查看配置后的效果，以及监测程序运行过程中的运行进度等，需要频繁查看WebUI的几个Tab。各个tab功能不一，从不同方面显示了Spark的各方面性能参数和运行进度。 特意记录一下，方便以后用得到的时候能够快速回顾知识点。 HDFS配置概览第一个tab是在配置好Hadoop之后就可以查看的。在这之前要先运行start-dfs.sh开启文件系统。具体地址为http://192.168.247.130:50070/dfshealth.html#tab-overview。配置完成后 在浏览器中输入该地址，或直接输入http://19 ...

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了，无法继续查看监控集群信息。无法回顾刚刚运行的程序细节，进而定向做出优化，肯定极为不便。 这时候就需要为集群配置Spark History Server了。 注：<driver-node>可以是主机名，如master，也可以是主机名对 ...

这是Spark入门的第三篇，也是最后一篇。说是入门，其实就只是简单的根据两本Spark书本，结合网络资料，自己一边动手实现，一边做的记录。自己看的时候确实方便许多，重新搭建一遍Hadoop-2.6.4的时候，查看前两篇记录，重现一遍的时候效率很高。 环境的搭建只是基础中的基础，不过之后的一切工作都要在这上面展开，并且用途也因人而异。因此这部分的记录入门尚可。 通过Spark提供的示例LocalPi测试Spark集群该示例是用Spark的run-example命令在Spark集群里运行示例LocalPi，最终打印Pi的一个大约的值到Shell控制台。 （1）启动Spark集群和Spark She ...

安装Scala版本选择Spark官方对配套的Scala版本有规定，所以要根据自己的实际情况来选择Scala版本。因此首先去Spark官网下载Spark，再根据要求下载对应版本的Scala。 在http://spark.apache.org/docs/1.6.2/中有一句提示： 1Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.2 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x). 意味着Spar ...

2016-07-25 更新： 进行到Spark安装的时候，spark-1.6.2没有对应的hadoop-2.6.4的with bin版本，因此推翻重来。 目前为hadoop-2.6.4+scala-2.10.6+spark-1.6.2-bin-hadoop2.6。 因此，如果近期搭建环境，注意三个包的版本选择搭配。官网有具体说明，请具体查阅。如果有精力，也可以使用源码等方式自行操作。 安装Ubuntu系统不论是通过虚拟机方式还是直接在物理机上安装Ubuntu系统，网上都有丰富的教程，此处不再赘述。 为了方便起见，此处设置的机器名最好与书本的设置一致：Master、Slave1和Slave2 ...

写在前面最近面试Shanbay的暑期实习生，在正式开始面试之前要有一个小作业，根据布置的任务做出一个背单词网站Demo，供后面面试官筛选和筛选后的面试提问。然而作为一个刚入门的纯Java后台，Python很久之前学过一点，但很久不用了，Django不会，Bootstrap不会，Web不会（不过应该会写一个helloworld页面吧）。一脸懵逼啊。。。 经过十天左右的“奋战”，好歹做出了一个能跑起来的Demo：功能基本完成，逻辑还算完善，不过界面确实丑了一点。压力之下快速学习过这么一套知识，收获颇丰。特此记录，一方面帮助自己巩固知识点，记录一些踩过的坑；另一方面，希望有相似需求的人能看到这篇文章 ...