아래와 같은 에러 발생 시

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
$ /usr/local/hive/bin/hive --service metastore
ls: cannot access '/usr/local/spark/lib/spark-assembly-*.jar': No such file or directory
Starting Hive Metastore Server
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:83)
        at org.apache.hadoop.hive.metastore.TServerSocketKeepAlive.<init>(TServerSocketKeepAlive.java:34)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5974)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5915)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:83)
        at org.apache.hadoop.hive.metastore.TServerSocketKeepAlive.<init>(TServerSocketKeepAlive.java:34)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5974)
        at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5915)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
 
cs


hive/bin 디렉터리 이하의  hive 파일에서 아래와 같은 부분을 주석 처리합니다.

* 설정 전

1
2
3
4
5
6
7
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
 
cs


* 설정 후

1
2
3
4
5
6
7
# add Spark assembly jar to the classpath
#if [[ -n "$SPARK_HOME" ]]
#then
#  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
#  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
#fi
 
cs



저작자표시

'Big Data Platform > Hive' 카테고리의 다른 글

hive hwi 관련 war 혹은 jar 파일 생성  (0) 2018.01.18
[에러] Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083  (0) 2018.01.15
하이브의 내장 함수  (0) 2017.10.16
hive 내장 집계 함수  (0) 2017.10.16
[경고] Establishing SSL connection without server's identity verification is not recommended.  (0) 2017.10.16


아래와 같은 에러 발생 시

1
2
ERROR 1396 (HY000): Operation CREATE USER failed for 'test'@'%'
 
cs



mysql.db 혹은 mysql.user 테이블의 데이터 무결성이 깨졌기 때문에 발성하는 것으로 기존의 user 테이블에 해당 user가 존재할 가능성이 있습니다.

mysql.user 테이블에서 해당 user의 존재 여부를 확인 후 존재할 경우 삭제하고 재생성을 하거나 아니면 기존의 권한을 수정하는 방법으로 해결할 수 있습니다.



저작자표시

'Database > MySQL' 카테고리의 다른 글

root 계정 외부 접근 권한 할당  (0) 2018.07.03
windows 10 mysql 설치  (0) 2018.07.03
계정 생성 및 비밀번호와 권한 추가 혹은 변경  (0) 2017.11.02
Linux 환경에서 MySQL 설치  (0) 2017.10.11
해당 데이터베이스 내에 모든 테이블 조회  (0) 2017.10.11


아래와 같은 에러 발생 시

1
2
2018-01-11 16:53:52,132 WARN org.apache.hadoop.conf.Configuration: java.io.BufferedInputStream@1354b5c6:an attempt to override final parameter: yarn.nodemanager.local-dirs;  Ignoring.
 
cs


yarn-site.xml 파일의 yarn.nodemanager.local-dirs 속성을 적절하게 수정합니다.

기존의 설정값 final 속성이 무시되고 있어서 삭제 후 저장

 : 수정 전

1
2
3
4
5
6
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop/nm-local-dir</value>
        <final>true</final>
</property>
 
cs


 : 수정 후

1
2
3
4
5
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop/nm-local-dir</value>
</property>
 
cs



저작자표시

'Big Data Platform > Hadoop' 카테고리의 다른 글

[에러] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1  (0) 2018.01.12
[경고] Unable to load native-hadoop library for your platform  (0) 2018.01.10
wordcount 실습  (0) 2017.10.13
pi 실습  (0) 2017.10.13
Unable to determine address of the host-falling back to "localhost" address  (0) 2017.10.13


* 아래와 같은 에러 발생 시

1
2
3
4
5
6
7
8
9
10
11
12
13
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" dir="/home/hadoop-user/hdp/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake">... @ 5:132 in /home/hadoop-user/hdp/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :hadoop-pipes
 
cs



* openssl-devel 을 설치함.

저작자표시

'Big Data Platform > Hadoop' 카테고리의 다른 글

[경고] org.apache.hadoop.conf.Configuration: java.io.BufferedInputStream@3745e5c6:an attempt to override final parameter: yarn.nodemanager.local-dirs; Ignoring.  (0) 2018.01.12
[경고] Unable to load native-hadoop library for your platform  (0) 2018.01.10
wordcount 실습  (0) 2017.10.13
pi 실습  (0) 2017.10.13
Unable to determine address of the host-falling back to "localhost" address  (0) 2017.10.13


openssl-devel 설치 시 아래와 같은 에러 발생 시

1
2
3
4
5
6
$ sudo apt-get install openssl-devel
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package openssl-devel
 
cs


 : 해당 문제는 centos와 같은 경우 아래와 같이 설치가 가능함.

1
2
$ sudo yum install openssl-devel
 
cs


 : ubuntu와 같은 경우 libssl-dev로 설치

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ sudo apt-get install libssl-dev
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
  libssl-doc
The following NEW packages will be installed:
  libssl-dev libssl-doc
0 upgraded, 2 newly installed, 0 to remove and 8 not upgraded.
Need to get 2,420 kB of archives.
After this operation, 10.1 MB of additional disk space will be used.
Do you want to continue? [Y/n] Y
Get:1 http://us.archive.ubuntu.com/ubuntu xenial-updates/main amd64 libssl-dev amd64 1.0.2g-1ubuntu4.10 [1,341 kB]
Get:2 http://us.archive.ubuntu.com/ubuntu xenial-updates/main amd64 libssl-doc all 1.0.2g-1ubuntu4.10 [1,079 kB]
Fetched 2,420 kB in 4s (519 kB/s)
Selecting previously unselected package libssl-dev:amd64.
(Reading database ... 78716 files and directories currently installed.)
Preparing to unpack .../libssl-dev_1.0.2g-1ubuntu4.10_amd64.deb ...
Unpacking libssl-dev:amd64 (1.0.2g-1ubuntu4.10) ...
Selecting previously unselected package libssl-doc.
Preparing to unpack .../libssl-doc_1.0.2g-1ubuntu4.10_all.deb ...
Unpacking libssl-doc (1.0.2g-1ubuntu4.10) ...
Processing triggers for man-db (2.7.5-1) ...
Setting up libssl-dev:amd64 (1.0.2g-1ubuntu4.10) ...
Setting up libssl-doc (1.0.2g-1ubuntu4.10) ...
 
cs



저작자표시

'Operating System > Linux' 카테고리의 다른 글

[에러] piix4_smbus 0000:00:07.3: SMBus Host Controller not enabled!  (2) 2018.02.28
ant 설치  (0) 2018.01.18
[경고] unable to resolve host  (0) 2017.11.27
[에러] cp: omitting directory  (0) 2017.11.23
파일 내의 문자열 검색  (0) 2017.11.21


아래와 같은 경고 발생 시

1
2
2018-01-10 14:19:13,932 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
 
cs



조치 사항

hadoop-env.sh 파일에 아래와 같이 추가 후 저장

1
2
3
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="${HADOOP_OPTS} -Djava.library.path=$HADOOP_PREFIX/lib"
 
cs



저작자표시

'Big Data Platform > Hadoop' 카테고리의 다른 글

[경고] org.apache.hadoop.conf.Configuration: java.io.BufferedInputStream@3745e5c6:an attempt to override final parameter: yarn.nodemanager.local-dirs; Ignoring.  (0) 2018.01.12
[에러] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1  (0) 2018.01.12
wordcount 실습  (0) 2017.10.13
pi 실습  (0) 2017.10.13
Unable to determine address of the host-falling back to "localhost" address  (0) 2017.10.13


* 아래와 같은 에러 발생 시

1
2
3
4
5
6
7
8
9
10
com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.3
  at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:56)
  at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
  at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:651)
  at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
  at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
  at org.apache.spark.SparkContext.withScope(SparkContext.scala:701)
  at org.apache.spark.SparkContext.textFile(SparkContext.scala:830)
  ... 47 elided
 
cs



* 발생 원인

 : 현재 참조되고 있는 jackson 관련 jar 파일이 너무 오래되서 발생되고 있는 문제입니다.



* 조치 사항

 : wget 명령어를 통해 상위 버전의 jackson 관련 jar 파일을 내려받아 zeppelin 이하의 library 디렉터리에 복사를 합니다.

1. wget 을 통해 관련 jar 파일을 내려받습니다.

1
2
3
4
wget http://central.maven.org/maven2/com/fasterxml/jackson/core/jackson-core/2.6.2/jackson-core-2.6.2.jar
wget http://central.maven.org/maven2/com/fasterxml/jackson/core/jackson-databind/2.6.2/jackson-databind-2.6.2.jar
wget http://central.maven.org/maven2/com/fasterxml/jackson/core/jackson-annotations/2.6.2/jackson-annotations-2.6.2.jar
 
cs



2. 관련 jar 파일 확인

1
2
3
4
5
$ ll |grep jackson
-rw-r--r--  1 hadoop-user hadoop   46969 Sep 15  2015 jackson-annotations-2.6.2.jar
-rw-r--r--  1 hadoop-user hadoop  258824 Sep 15  2015 jackson-core-2.6.2.jar
-rw-r--r--  1 hadoop-user hadoop 1167351 Sep 15  2015 jackson-databind-2.6.2.jar
 
cs



3. zeppelin 이하의 lib 디렉터리에 복사

1
2
$ cp ~/jackson* /usr/local/zeppelin/lib
 
cs

* 위의 jackson* 은 jackson 으로 시작하는 모든 파일을 의미하는 것으로 jackson 으로 시작하는 다른 파일이 있을 경우 주의해서 사용하세요.



저작자표시

'Big Data Platform > Zeppelin' 카테고리의 다른 글

[에러] java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;  (0) 2018.01.23
[에러] paragraph_1429882946244_-381648689's Interpreter r not found  (0) 2018.01.22
Export Spark  (0) 2017.11.28


1. 샘플 텍스트 파일의 내용입니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$ cat test.txt
For the latest information about Hadoop, please visit our website at:
 
   http://hadoop.apache.org/core/
 
and our wiki, at:
 
   http://wiki.apache.org/hadoop/
 
This distribution includes cryptographic software.  The country in
which you currently reside may have restrictions on the import,
possession, use, and/or re-export to another country, of
encryption software.  BEFORE using any encryption software, please
check your country's laws, regulations and policies concerning the
import, possession, or use, and re-export of encryption software, to
see if this is permitted.  See <http://www.wassenaar.org/> for more
information.
 
The U.S. Government Department of Commerce, Bureau of Industry and
Security (BIS), has classified this software as Export Commodity
Control Number (ECCN) 5D002.C.1, which includes information security
software using or performing cryptographic functions with asymmetric
algorithms.  The form and manner of this Apache Software Foundation
distribution makes it eligible for export under the License Exception
ENC Technology Software Unrestricted (TSU) exception (see the BIS
Export Administration Regulations, Section 740.13) for both object
code and source code.
 
The following provides more details on the included cryptographic
software:
  Hadoop Core uses the SSL libraries from the Jetty project written
by mortbay.org.
 
cs



2. wiki 라는 단어를 kiwi 로 일괄 변경을 합니다.

2-1. 실행 명령어

1
2
:%s/wiki/kiwi/g
 
cs

:%s/[변경 전의 문자열]/[변경 후의 문자열]/g



3. 실행 후 결과입니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
For the latest information about Hadoop, please visit our website at:
 
   http://hadoop.apache.org/core/
 
and our kiwi, at:
 
   http://kiwi.apache.org/hadoop/
 
This distribution includes cryptographic software.  The country in
which you currently reside may have restrictions on the import,
possession, use, and/or re-export to another country, of
encryption software.  BEFORE using any encryption software, please
check your country's laws, regulations and policies concerning the
import, possession, or use, and re-export of encryption software, to
see if this is permitted.  See <http://www.wassenaar.org/> for more
information.
 
The U.S. Government Department of Commerce, Bureau of Industry and
Security (BIS), has classified this software as Export Commodity
Control Number (ECCN) 5D002.C.1, which includes information security
software using or performing cryptographic functions with asymmetric
algorithms.  The form and manner of this Apache Software Foundation
distribution makes it eligible for export under the License Exception
ENC Technology Software Unrestricted (TSU) exception (see the BIS
Export Administration Regulations, Section 740.13) for both object
code and source code.
 
The following provides more details on the included cryptographic
software:
  Hadoop Core uses the SSL libraries from the Jetty project written
by mortbay.org.
 
cs



저작자표시


* 다음을 진행하기에 앞서 zeppelin 이 먼저 설치되어 있어야 합니다.


1. zeppelin-env.sh 파일을 편집합니다.

1
2
$ vi /usr/local/zeppelin/conf/zeppelin-env.sh
 
cs



2. zeppelin-env.sh 파일 내에 다음과 같이 첨삭합니다. 

1
2
3
4
5
6
7
8
9
10
11
export SPARK_HOME=/usr/local/spark
 
# set options to pass spark-submit command
export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"
 
# set hadoop conf dir
export HADOOP_CONF_DIR=/usr/local/hadoop
 
# extra classpath. e.g. set classpath for hive-site.xml
export ZEPPELIN_INTP_CLASSPATH_OVERRIDES=/etc/hive/conf
 
cs



저작자표시

'Big Data Platform > Zeppelin' 카테고리의 다른 글

[에러] java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;  (0) 2018.01.23
[에러] paragraph_1429882946244_-381648689's Interpreter r not found  (0) 2018.01.22
[에러] Jackson version is too old 2.5.3  (0) 2017.12.12


* 아래와 같은 경고 발생 시

1
2
sudo: unable to resolve host user-virtual-machine
 
cs

* user-virtual-machine 은 호스트 이름으로 각 환경마다 다를 수 있습니다.



* 발생 원인

 : hostname 에 적힌 시스템의 호스트 이름이 /etc/hosts 에 등록이 되어 있지 않기 때문에 발생합니다.



* 조치 사항

1. /etc/hostname 파일의 등록된 호스트 이름을 확인합니다.

1
2
3
$ cat /etc/hostname
user-virtual-machine
 
cs



2. /etc/hosts 파일을 편집합니다.

1
2
$ vi /etc/hosts
 
cs



3. hosts 파일의 적절한 위치에 호스트 이름을 아래와 같이 추가합니다.

1
2
127.0.0.1       user-virtual-machine
 
cs



저작자표시

'Operating System > Linux' 카테고리의 다른 글

ant 설치  (0) 2018.01.18
[에러] E: Unable to locate package openssl-devel  (0) 2018.01.12
[에러] cp: omitting directory  (0) 2017.11.23
파일 내의 문자열 검색  (0) 2017.11.21
ubuntu docker 설치 및 계정 권한 부여  (0) 2017.11.07

+ Recent posts

티스토리툴바