之前疫情在家，參加了阿里雲的在家雲實踐，白嫖了半年的雲服務器，感覺體驗還不錯。最近推出有阿里雲活動，1vCPU，2G內存的主機一年只要94，忍不住又衝了一波，用來裝個完整的大數據環境。大致順序如下：
- 安裝
Java - 安裝
Hadoop 3.1.3 - 安裝
Anaconda3 - 安裝
Scala 2.11.12 - 安裝
Spark 2.4.0 - 安裝
sbt 0.13.11 - 安裝
Kafka 0.10.2.0
主要參考林子雨老師的博客，剩下的HBase,Hive啥的，以後有時間再慢慢配置。這裡記錄一下安裝過程中出現的問題。
1、查看Hadoop版本報錯
在Java環境變量已經配置完成後，安裝Hadoop 3.1.3，查看版本時報錯。
./bin/hadoop version ERROR: JAVA_HOME is not set and could not be found.檢查環境變量：
java -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode) echo $JAVA_HOME /usr/lib/jvm/jdk1.8.0_162都是正常的，但是Hadoop還是無法找到Java。查了一下還需要在../hadoop/etc/hadoop/hadoop-env.sh中聲明Java的路徑。
cd /usr/local/hadoop/etc/ vim hadoop-env.sh在裡面加上export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162，再次運行查看版本的命令就成功了。
./bin/hadoop version Hadoop 3.1.3 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579 Compiled by ztang on 2019-09-12T02:47Z Compiled with protoc 2.5.0 From source with checksum ec785077c385118ac91aadde5ec9799 This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar
2、啟動Scala shell報錯
安裝完Scala，一啟動就報錯，淦！！！！！！！！！
./bin/scala Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_162). Type in expressions for evaluation. Or try :help. [ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberFormatException: For input string: "0x100" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) at java.lang.Integer.valueOf(Integer.java:766) at jline.internal.InfoCmp.parseInfoCmp(InfoCmp.java:59) at jline.UnixTerminal.parseInfoCmp(UnixTerminal.java:242) at jline.UnixTerminal.<init>(UnixTerminal.java:65) at jline.UnixTerminal.<init>(UnixTerminal.java:50) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at java.lang.Class.newInstance(Class.java:442) at jline.TerminalFactory.getFlavor(TerminalFactory.java:211) at jline.TerminalFactory.create(TerminalFactory.java:102) at jline.TerminalFactory.get(TerminalFactory.java:186) at jline.TerminalFactory.get(TerminalFactory.java:192) at jline.console.ConsoleReader.<init>(ConsoleReader.java:243) at jline.console.ConsoleReader.<init>(ConsoleReader.java:235) at jline.console.ConsoleReader.<init>(ConsoleReader.java:223) at scala.tools.nsc.interpreter.jline.JLineConsoleReader.<init>(JLineReader.scala:64) at scala.tools.nsc.interpreter.jline.InteractiveReader.<init>(JLineReader.scala:33) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:858) at scala.tools.nsc.interpreter.ILoop$$anonfun$scala$tools$nsc$interpreter$ILoop$$instantiater$1$1.apply(ILoop.scala:855) at scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$mkReader$1(ILoop.scala:862) at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873) at scala.tools.nsc.interpreter.ILoop$$anonfun$22$$anonfun$apply$10.apply(ILoop.scala:873) at scala.util.Try$.apply(Try.scala:192) at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873) at scala.tools.nsc.interpreter.ILoop$$anonfun$22.apply(ILoop.scala:873) at scala.collection.immutable.Stream.map(Stream.scala:418) at scala.tools.nsc.interpreter.ILoop.chooseReader(ILoop.scala:873) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1$$anonfun$newReader$1$1.apply(ILoop.scala:893) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.newReader$1(ILoop.scala:893) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.scala$tools$nsc$interpreter$ILoop$$anonfun$$preLoop$1(ILoop.scala:897) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(ILoop.scala:964) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:990) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:891) at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:891) at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97) at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:891) at scala.tools.nsc.MainGenericRunner.runTarget$1(MainGenericRunner.scala:74) at scala.tools.nsc.MainGenericRunner.run$1(MainGenericRunner.scala:87) at scala.tools.nsc.MainGenericRunner.process(MainGenericRunner.scala:98) at scala.tools.nsc.MainGenericRunner$.main(MainGenericRunner.scala:103) at scala.tools.nsc.MainGenericRunner.main(MainGenericRunner.scala) scala>但是好像不影響使用。修改.profile可以解決這個問題。
cd vim .profile # 添加export TERM=xterm-color source .profile這樣就解決了。但是不知道是為什麼解決的，看了幾個博客，都是這樣那樣再這樣，就OK了。前幾天剛安裝了一遍Scala 2.11.12，那時候還好好的，這會兒就出問題了。
3、配置PYSPARK
pyspark的交互式環境本身不需要配置，執行以下命令就可以打開pyspark：
cd /usr/local/spark ./bin/pyspark使用的Python版本是系統的默認Python版本，也就是你在終端中輸入python打開的那一個（之前已經安裝好了Anaconda3，此時用的就是Anaconda3自帶的Python版本）。但是你在這個Python中卻無法導入pyspark相關的包。
>>> from pyspark.sql import Row Traceback (most recent call last): File "<stdin>", line 1, in <module> ModuleNotFoundError: No module named 'pyspark'需要配置環境變量，在~/.bashrc中添加以下的幾行：
export HADOOP_HOME=/usr/local/hadoop export SPARK_HOME=/usr/local/spark export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH export PYSPARK_PYTHON=python export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH記得source一下讓環境變量生效。這時候再去導入相關的包就不會報錯了。上面那些其實也順便配置了Hadoop和Spark的環境變量，理論上來說，如果你就只想用默認的Python版本跑pyspark，那隻要加上PYTHONPATH的那一行就行了。
4、SBT換源
一開始用的是華為的源，而且似乎源也沒給全，會報包下載失敗的錯誤。想了一下我是在阿里雲的服務器上，用阿里雲的源大概快點？並沒有
vim ~/.sbt/repositories[repositories] aliyun-maven-repo: https://maven.aliyun.com/repository/public aliyun-nexus: https://maven.aliyun.com/nexus/content/groups/public/ typesafe: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext], bootOnly maven-central sonatype-oss-releases sonatype-oss-snapshots ivy-sbt-plugin: https://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext]
換了sbt的版本，改用sbt1.3.8，參考sbt無痛入門指南換源，速度快了很多。
5、Maven換源
6、阿里雲服務器安裝HBase
這個有點坑，一開始完全想不到問題出在這裡。打開HBase Shell，運行所有命令都會報錯。
ERROR: KeeperErrorCode = NoNode for /hbase/master說是找不到master，啟動HBase之後執行jps是有HMaster的。最後檢查了很久，發現HDFS中沒有hbase文件夾，這時候才想起來配置hbase-site.xml的時候有個地方疏忽了。
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://xxx.xxx.xxx.xxx:9000/hbase</value> 此處要填寫你的阿里雲內網IP </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> </configuration>