工作中常常需要在linux线上环境处理数据,比如:处理log分析,mysql数据提取等等。
你可能首先想到的是shell,或在python。
shell确实简练,但是有时候并不好用,比如复杂数据的统计,shell显得过于简陋。
python当然可以应对多种需求,由于linux 都标配了python,熟悉python 那是相当方便。
不过对于业界 java语言的普及度是很高的,很多同事在处理数据的时候,由于对python不熟悉,效率很低,要把数据搞到本地,再tmd写java处理,实在坑爹。
下面兄弟谈下java在linux下的配置java环境以及处理数据,尤其是引用第三方的jar包,自我感觉相当方便~
第一步:配置jdk环境。
vim .profile
export JAVA_HOME=/home/q/java/jdk1.6.0_20
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:~/java/lib/*.jar
注意:最后我指定了:~/java/lib/*.jar ,这些jar包是jdk提供之外的jar包。
第二步:配置 Djava.ext.dirs,java编译和执行时引用jdk之外的jar包
alias jc='javac -Djava.ext.dirs=/home/xinchun.wang/java/lib'
alias jr='java -Djava.ext.dirs=/home/xinchun.wang/java/lib'
第三步:测试
import org.apache.commons.lang.StringUtils;
public class Test2{
public static void main(String[] args){
System.out.println(StringUtils.isEmpty(""));
System.out.println(StringUtils.isEmpty("hellow"));
}
}
执行:
jc Test2.java
jr Test2
输出:
true
false
至此:已经成功配置~
总结:
shell :实在不好用,但是简单的数据处理以及统计,那是简洁高效方便
python:胜任所有场景,熟悉的话,就优先使用啦,尤其是在执行环境多变的情况,可移植性好,比如给dba执行一个db数据处理的情况,对方可能没有装java环境,或者环境配置不一致,这块java不让python。
java:胜任所有场景,移植性(因为不同组的同事可能不装java环境,但是python肯定都有)相对python较差。
分享到:
相关推荐
此项目为《linux工匠》博客,以及日常运维中所用到的shell,python脚本和k8s服务配置,集群安装文档等 软件开发设计:应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目...
本资源提供了一套基于Scala和Java的Spark大数据...这些文件详细展示了如何使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C等语言构建一个大数据处理平台,非常适合用于学习和参考大数据项目的开发。
虽然你能够通过编写 Unix shell 脚本或 Windows 批处理文件来处理其中的某些任务,但 Shell 脚本更适合移动文件或修改文本数据, 并不适合编写 GUI 应用程序或游戏;虽然你能够使用 C/C++/JAVA 编写程序,但即使编写...
Apache Spark大数据处理:基于Scala开发,包含10043个文件,包括2435个Scala源文件、1558个Q文件、743个Java类文件、233个Python脚本文件、223个SQL文件、220个文本文件、78个Markdown文档、51个R脚本文件、42个XML...
毕业后,他曾经效力于多家公司,从事Java开发、数据仓库开发以及QA分析等方面的工作;目前,他的兴趣主要集中在商业智能、大数据和云计算等专业领域。 Ivan Idris以编写简洁可测试的程序代码以及撰写有趣的技术文章...
本资源提供了一套基于Apache Spark的大...这些文件详细展示了如何使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C等语言构建一个统一的大规模数据分析引擎,非常适合用于学习和参考大数据处理的开发。
本资源提供了一套基于Scala的Apache Spark大数据...这些文件详细展示了如何使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C等语言构建一个大数据处理框架,非常适合用于学习和参考大数据项目的开发。
1.2.2 使用Python Shell 5 1.3 开始使用Python——字符串 6 1.3.1 字符串概述 6 1.3.2 为什么需要引号 6 1.3.3 为什么有3种类型的引号 7 1.3.4 使用print()函数 7 1.3.5 理解不同的引号 8 1.4 串联两个字符串 10 1.5...
软件开发设计:应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备:单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备...
Apache Spark分布式数据处理 - 基于Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C开发,包含12830个文件,如SCALA、Q、JAVA、SQL、TXT、PY、MD、OUT、R和DELTA等。该系统是一个统一的大规模数据分析...
本项目是基于Scala开发的Apache Spark开源项目设计源码,共包含9534个文件。其中Q文件2245个,Scala源...项目结构清晰,代码注释详尽,适合用于学习和研究Scala、Java、Python等多种编程语言在数据处理和分析中的应用。
项目概述:本项目是一款基于Spark技术的高校数据挖掘与分析系统,主要采用Scala编程语言开发,同时集成了Java、Python和Shell脚本。整个系统由155个文件组成,其中包含86个class文件,15个Scala脚本,以及其他类型的...
来管理我们的关键管道,并保持数据处理作业的稳健性和效率。 支持的进程类型 简单的python流程 本地hadoop进程 Amazon Elastic Mapreduce hadoop 流程 Qubole hadoop进程 Java进程 壳程 每个进程都能够定义自己的...
软件开发设计:应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备:单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备...