데이터베이스 생성

1.

1
2
create database python;
 
cs

python : 생성하려는 데이터베이스 명칭


2. 확인

 2-1. exec

1
2
show databases;
 
cs


 2-2. result


사용자 추가

3.

1
2
create user 'python'@'%' identified by '****';
 
cs
python : 추가하려는 사용자 명칭
% : 접근 허용 가능한 호스트를 지정. %는 모든 호스트에서 접근 가능함을 의미.
**** : 해당 계정의 비밀번호를 입력

4. 확인

 4-1.

1
2
use mysql;
 
cs


 4-2.

1
2
select * from user;
 
cs


 4-3.


DB 접근 권한 부여

5.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 5.7.22-0ubuntu0.16.04.1 (Ubuntu)
 
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql>
 
cs


6.

1
2
3
mysql> grant all on python.* to python@'%' identified by '****' with grant option;
Query OK, 0 rows affected, 1 warning (0.00 sec)
 
cs

python 데이터베이스에 python 계정 및 비밀번호로 접근 할당한다는 의미입니다.

**** : 해당 계정의 비밀번호


7. 접속 확인


저작자표시

'Database > MySQL' 카테고리의 다른 글

MySQL Workbench 설치  (0) 2018.09.28
root 계정 외부 접근 권한 할당  (0) 2018.07.03
windows 10 mysql 설치  (0) 2018.07.03
ERROR 1396  (0) 2018.01.15
계정 생성 및 비밀번호와 권한 추가 혹은 변경  (0) 2017.11.02


* Client OS IP: 192.168.0.22


* Server OS IP: 192.168.0.21


1. 권한이 허용되지 않은 상태에서 접근 시


2. Server Side

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.7.22-0ubuntu0.16.04.1 (Ubuntu)
 
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql>
 
cs


3.

1
2
3
mysql> grant all privileges on *.* to 'root'@'%' identified by '****';
Query OK, 0 rows affected, 1 warning (0.00 sec)
 
cs

root : 외부 접속을 위한 권한을 허용할 계정

**** : 해당 계정의 비밀번호


4.

1
2
3
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
 
cs


5.

1
2
3
mysql> exit
Bye
 
cs


6. Client Side

* 위와 같이 접속이 되지 않을 경우 mysql 설치 시 기본적으로 local 접속만 허용되도록 설정되어 있기 때문에 외부 허용 설정을 해주어야 합니다.


저작자표시

'Database > MySQL' 카테고리의 다른 글

MySQL Workbench 설치  (0) 2018.09.28
데이터베이스와 유저 생성, 권한 할당  (0) 2018.07.03
windows 10 mysql 설치  (0) 2018.07.03
ERROR 1396  (0) 2018.01.15
계정 생성 및 비밀번호와 권한 추가 혹은 변경  (0) 2017.11.02


1.

 : https://dev.mysql.com/downloads/mysql/


2.


3.


4.


5.


* 다음의 요구 사항에 충족하기 위해서 아래의 링크로 이동하여 python27을 설치해야 합니다. 설치 시 버전 주의!!!

 : python 2.7.x 설치


* 위의 요구 조건에 충족되지 못할 경우 "Next" 버튼 클릭 시 아래와 같은 메시지가 출력됩니다.


7.


8.


9.


10.


11.


12.


13.

* 기존에 구축된 플랫폼과 연동 혹은 8.x 버전을 지원하지 않는 플랫폼과 연동 시에 Legacy Authentication Method 사용을 추천!!!


14.


15.


16.


17.


18.


19.


20.


21.


22.


23.


24.


25.


26.


27.

 27-1.


 27-2.


28.


29.


저작자표시

'Database > MySQL' 카테고리의 다른 글

데이터베이스와 유저 생성, 권한 할당  (0) 2018.07.03
root 계정 외부 접근 권한 할당  (0) 2018.07.03
ERROR 1396  (0) 2018.01.15
계정 생성 및 비밀번호와 권한 추가 혹은 변경  (0) 2017.11.02
Linux 환경에서 MySQL 설치  (0) 2017.10.11


OS : Windows 10

Py: 2.7.15


1.

 : https://www.python.org/downloads/


2.


3.


4.


5.


6.


7.


환경 변수 설정

8.


9.


10.


* 편집 전에 python27의 경로를 확인


11.


12.


13.

1
2
3
C:\Users\Admin>python --version
Python 2.7.15
 
cs


저작자표시

'Programming > Python' 카테고리의 다른 글

python-3.7.1 설치 및 환경 구축  (0) 2018.10.21
[에러] name 'xrange' is not defined  (0) 2018.07.23
파이썬에서 사용할 수 있는 도구  (0) 2018.07.02
[에러] Command "/usr/bin/python3 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-uy211_p4/pyodbc/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" ins..  (0) 2018.01.24
Python 으로 MySQL 에 접속  (0) 2017.11.27




저작자표시

'도서 > 국내 도서' 카테고리의 다른 글

인생은 뜨겁게 버트런드 러셀 자서전  (0) 2018.07.22
텐서플로 入門  (0) 2018.07.18
인생단어 변화를 이끄는 긍정적인 사람의 한 마디  (0) 2018.07.01
파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지  (0) 2018.06.28
모든 순간이 너였다  (0) 2018.06.28


1.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# apt-get update
Hit:1 http://kr.archive.ubuntu.com/ubuntu xenial InRelease
Get:2 http://kr.archive.ubuntu.com/ubuntu xenial-updates InRelease [109 kB]
Get:3 http://kr.archive.ubuntu.com/ubuntu xenial-backports InRelease [107 kB]
Get:4 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 Packages [799 kB]
Get:5 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main i386 Packages [731 kB]
Get:6 http://security.ubuntu.com/ubuntu xenial-security InRelease [107 kB]
Get:7 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main Translation-en [331 kB]
Get:8 http://kr.archive.ubuntu.com/ubuntu xenial-updates/universe amd64 Packages [641 kB]
Get:9 http://kr.archive.ubuntu.com/ubuntu xenial-updates/universe i386 Packages [585 kB]
Get:10 http://kr.archive.ubuntu.com/ubuntu xenial-updates/universe Translation-en [257 kB]
Get:11 http://security.ubuntu.com/ubuntu xenial-security/main amd64 Packages [516 kB]
Get:12 http://security.ubuntu.com/ubuntu xenial-security/main i386 Packages [455 kB]
Get:13 http://security.ubuntu.com/ubuntu xenial-security/main Translation-en [221 kB]
Get:14 http://security.ubuntu.com/ubuntu xenial-security/universe amd64 Packages [356 kB]
Get:15 http://security.ubuntu.com/ubuntu xenial-security/universe i386 Packages [304 kB]
Get:16 http://security.ubuntu.com/ubuntu xenial-security/universe Translation-en [133 kB]
Fetched 5,652 kB in 3s (1,635 kB/s)
Reading package lists... Done
 
cs


2.


3.


4.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
# apt-get install -y mysql-server
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
  libaio1 libcgi-fast-perl libcgi-pm-perl libencode-locale-perl libevent-core-2.0-5 libfcgi-perl
  libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl
  libio-html-perl liblwp-mediatypes-perl libtimedate-perl liburi-perl mysql-client-5.7 mysql-client-core-5.7
  mysql-common mysql-server-5.7 mysql-server-core-5.7
Suggested packages:
  libdata-dump-perl libipc-sharedcache-perl libwww-perl mailx tinyca
The following NEW packages will be installed:
  libaio1 libcgi-fast-perl libcgi-pm-perl libencode-locale-perl libevent-core-2.0-5 libfcgi-perl
  libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl
  libio-html-perl liblwp-mediatypes-perl libtimedate-perl liburi-perl mysql-client-5.7 mysql-client-core-5.7
  mysql-common mysql-server mysql-server-5.7 mysql-server-core-5.7
0 upgraded, 21 newly installed, 0 to remove and 10 not upgraded.
Need to get 18.7 MB of archives.
After this operation, 162 MB of additional disk space will be used.
Get:1 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-common all 5.7.22-0ubuntu0.16.04.1 [15.4 kB]
Get:2 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libaio1 amd64 0.3.110-2 [6,356 B]
Get:3 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-client-core-5.7 amd64 5.7.22-0ubuntu0.16.04.1 [6,425 kB]
Get:4 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-client-5.7 amd64 5.7.22-0ubuntu0.16.04.1 [1,673 kB]
Get:5 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-server-core-5.7 amd64 5.7.22-0ubuntu0.16.04.1 [7,268 kB]
Get:6 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 libevent-core-2.0-5 amd64 2.0.21-stable-2ubuntu0.16.04.1 [70.6 kB]
Get:7 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-server-5.7 amd64 5.7.22-0ubuntu0.16.04.1 [2,583 kB]
Get:8 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libhtml-tagset-perl all 3.20-2 [13.5 kB]
Get:9 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 liburi-perl all 1.71-1 [76.9 kB]
Get:10 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libhtml-parser-perl amd64 3.72-1 [86.1 kB]
Get:11 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libcgi-pm-perl all 4.26-1 [185 kB]
Get:12 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libfcgi-perl amd64 0.77-1build1 [32.3 kB]
Get:13 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libcgi-fast-perl all 1:2.10-1 [10.2 kB]
Get:14 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libencode-locale-perl all 1.05-1 [12.3 kB]
Get:15 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libhtml-template-perl all 2.95-2 [60.4 kB]
Get:16 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libtimedate-perl all 2.3000-2 [37.5 kB]
Get:17 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libhttp-date-perl all 6.02-1 [10.4 kB]
Get:18 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libio-html-perl all 1.001-1 [14.9 kB]
Get:19 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 liblwp-mediatypes-perl all 6.02-1 [21.7 kB]
Get:20 http://kr.archive.ubuntu.com/ubuntu xenial/main amd64 libhttp-message-perl all 6.11-1 [74.3 kB]
Get:21 http://kr.archive.ubuntu.com/ubuntu xenial-updates/main amd64 mysql-server all 5.7.22-0ubuntu0.16.04.1 [10.8 kB]
Fetched 18.7 MB in 2s (6,452 kB/s)
Preconfiguring packages ...
Selecting previously unselected package mysql-common.
(Reading database ... 92755 files and directories currently installed.)
Preparing to unpack .../mysql-common_5.7.22-0ubuntu0.16.04.1_all.deb ...
Unpacking mysql-common (5.7.22-0ubuntu0.16.04.1) ...
Selecting previously unselected package libaio1:amd64.
Preparing to unpack .../libaio1_0.3.110-2_amd64.deb ...
Unpacking libaio1:amd64 (0.3.110-2) ...
Selecting previously unselected package mysql-client-core-5.7.
Preparing to unpack .../mysql-client-core-5.7_5.7.22-0ubuntu0.16.04.1_amd64.deb ...
Unpacking mysql-client-core-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Selecting previously unselected package mysql-client-5.7.
Preparing to unpack .../mysql-client-5.7_5.7.22-0ubuntu0.16.04.1_amd64.deb ...
Unpacking mysql-client-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Selecting previously unselected package mysql-server-core-5.7.
Preparing to unpack .../mysql-server-core-5.7_5.7.22-0ubuntu0.16.04.1_amd64.deb ...
Unpacking mysql-server-core-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Selecting previously unselected package libevent-core-2.0-5:amd64.
Preparing to unpack .../libevent-core-2.0-5_2.0.21-stable-2ubuntu0.16.04.1_amd64.deb ...
Unpacking libevent-core-2.0-5:amd64 (2.0.21-stable-2ubuntu0.16.04.1) ...
Processing triggers for libc-bin (2.23-0ubuntu10) ...
Processing triggers for man-db (2.7.5-1) ...
Setting up mysql-common (5.7.22-0ubuntu0.16.04.1) ...
update-alternatives: using /etc/mysql/my.cnf.fallback to provide /etc/mysql/my.cnf (my.cnf) in auto mode
Selecting previously unselected package mysql-server-5.7.
(Reading database ... 92923 files and directories currently installed.)
Preparing to unpack .../mysql-server-5.7_5.7.22-0ubuntu0.16.04.1_amd64.deb ...
Unpacking mysql-server-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Selecting previously unselected package libhtml-tagset-perl.
Preparing to unpack .../libhtml-tagset-perl_3.20-2_all.deb ...
Unpacking libhtml-tagset-perl (3.20-2) ...
Selecting previously unselected package liburi-perl.
Preparing to unpack .../liburi-perl_1.71-1_all.deb ...
Unpacking liburi-perl (1.71-1) ...
Selecting previously unselected package libhtml-parser-perl.
Preparing to unpack .../libhtml-parser-perl_3.72-1_amd64.deb ...
Unpacking libhtml-parser-perl (3.72-1) ...
Selecting previously unselected package libcgi-pm-perl.
Preparing to unpack .../libcgi-pm-perl_4.26-1_all.deb ...
Unpacking libcgi-pm-perl (4.26-1) ...
Selecting previously unselected package libfcgi-perl.
Preparing to unpack .../libfcgi-perl_0.77-1build1_amd64.deb ...
Unpacking libfcgi-perl (0.77-1build1) ...
Selecting previously unselected package libcgi-fast-perl.
Preparing to unpack .../libcgi-fast-perl_1%3a2.10-1_all.deb ...
Unpacking libcgi-fast-perl (1:2.10-1) ...
Selecting previously unselected package libencode-locale-perl.
Preparing to unpack .../libencode-locale-perl_1.05-1_all.deb ...
Unpacking libencode-locale-perl (1.05-1) ...
Selecting previously unselected package libhtml-template-perl.
Preparing to unpack .../libhtml-template-perl_2.95-2_all.deb ...
Unpacking libhtml-template-perl (2.95-2) ...
Selecting previously unselected package libtimedate-perl.
Preparing to unpack .../libtimedate-perl_2.3000-2_all.deb ...
Unpacking libtimedate-perl (2.3000-2) ...
Selecting previously unselected package libhttp-date-perl.
Preparing to unpack .../libhttp-date-perl_6.02-1_all.deb ...
Unpacking libhttp-date-perl (6.02-1) ...
Selecting previously unselected package libio-html-perl.
Preparing to unpack .../libio-html-perl_1.001-1_all.deb ...
Unpacking libio-html-perl (1.001-1) ...
Selecting previously unselected package liblwp-mediatypes-perl.
Preparing to unpack .../liblwp-mediatypes-perl_6.02-1_all.deb ...
Unpacking liblwp-mediatypes-perl (6.02-1) ...
Selecting previously unselected package libhttp-message-perl.
Preparing to unpack .../libhttp-message-perl_6.11-1_all.deb ...
Unpacking libhttp-message-perl (6.11-1) ...
Selecting previously unselected package mysql-server.
Preparing to unpack .../mysql-server_5.7.22-0ubuntu0.16.04.1_all.deb ...
Unpacking mysql-server (5.7.22-0ubuntu0.16.04.1) ...
Processing triggers for man-db (2.7.5-1) ...
Processing triggers for ureadahead (0.100.0-19) ...
Processing triggers for systemd (229-4ubuntu21.2) ...
Setting up libaio1:amd64 (0.3.110-2) ...
Setting up mysql-client-core-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Setting up mysql-client-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Setting up mysql-server-core-5.7 (5.7.22-0ubuntu0.16.04.1) ...
Setting up libevent-core-2.0-5:amd64 (2.0.21-stable-2ubuntu0.16.04.1) ...
Setting up mysql-server-5.7 (5.7.22-0ubuntu0.16.04.1) ...
update-alternatives: using /etc/mysql/mysql.cnf to provide /etc/mysql/my.cnf (my.cnf) in auto mode
Renaming removed key_buffer and myisam-recover options (if present)
Setting up libhtml-tagset-perl (3.20-2) ...
Setting up liburi-perl (1.71-1) ...
Setting up libhtml-parser-perl (3.72-1) ...
Setting up libcgi-pm-perl (4.26-1) ...
Setting up libfcgi-perl (0.77-1build1) ...
Setting up libcgi-fast-perl (1:2.10-1) ...
Setting up libencode-locale-perl (1.05-1) ...
Setting up libhtml-template-perl (2.95-2) ...
Setting up libtimedate-perl (2.3000-2) ...
Setting up libhttp-date-perl (6.02-1) ...
Setting up libio-html-perl (1.001-1) ...
Setting up liblwp-mediatypes-perl (6.02-1) ...
Setting up libhttp-message-perl (6.11-1) ...
Setting up mysql-server (5.7.22-0ubuntu0.16.04.1) ...
Processing triggers for libc-bin (2.23-0ubuntu10) ...
Processing triggers for systemd (229-4ubuntu21.2) ...
Processing triggers for ureadahead (0.100.0-19) ...
 
cs


5.

1
2
3
4
5
6
7
8
# dpkg --list |grep mysql
ii  mysql-client-5.7                     5.7.22-0ubuntu0.16.04.1                    amd64        MySQL database client binaries
ii  mysql-client-core-5.7                5.7.22-0ubuntu0.16.04.1                    amd64        MySQL database core client binaries
ii  mysql-common                         5.7.22-0ubuntu0.16.04.1                    all          MySQL database common files, e.g. /etc/mysql/my.cnf
ii  mysql-server                         5.7.22-0ubuntu0.16.04.1                    all          MySQL database server (metapackage depending on the latest version)
ii  mysql-server-5.7                     5.7.22-0ubuntu0.16.04.1                    amd64        MySQL database server binaries and system database setup
ii  mysql-server-core-5.7                5.7.22-0ubuntu0.16.04.1                    amd64        MySQL database server binaries
 
cs


6.

1
2
3
4
5
6
7
8
9
10
11
# service mysql status
● mysql.service - MySQL Community Server
   Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
   Active: active (running) since Mon 2018-07-02 22:28:51 KST; 11min ago
 Main PID: 9288 (mysqld)
   CGroup: /system.slice/mysql.service
           └─9288 /usr/sbin/mysqld
 
Jul 02 22:28:50 dbms systemd[1]: Starting MySQL Community Server...
Jul 02 22:28:51 dbms systemd[1]: Started MySQL Community Server.
 
cs


7. 외부 접속 허용

 7-1. my.cnf 편집

1
2
# vi /etc/mysql/mysql.conf.d/mysqld.cnf
 
cs

 7-2.

1
2
3
#bind-address           = 127.0.0.1
bind-address            = 0.0.0.0
 
cs


8. 접속 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.7.22-0ubuntu0.16.04.1 (Ubuntu)
 
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql>
 
cs


9.

1
2
3
4
5
6
7
8
9
10
11
mysql> show databases;
+--------------------+
 Database           |
+--------------------+
 information_schema |
 mysql              |
 performance_schema |
 sys                |
+--------------------+
4 rows in set (0.00 sec)
 
cs


저작자표시

'Operating System > Linux' 카테고리의 다른 글

ubuntu 18.04 고정 IP 설정  (0) 2018.10.03
TensorFlow 설치 및 환경 구축  (0) 2018.07.18
ubuntu mongo db 설치  (0) 2018.06.18
Kali Linux 고정 IP 설정하기  (0) 2018.06.12
CentOS7 고정 IP 설정  (0) 2018.06.01


사이썬(Cython)

 : 컴퓨터의 실제 하드웨어에 가까울수록 처리해야 할 데이터의 타입을 아는 것이 중요하다. 컴퓨터 입장에서는 1 + 1과 1.00 + 1.00은 다르다. 전자는 정수들로 이뤄져 있지만, 후자는 부동소수점수이다. 정수를 계산할 때와 부동소수점수를 계산할 때, 계산이 CPU의 서로 다른 부분에서 이뤄진다. 파이썬에서는 사용하려는 데이터의 타입을 명시할 필요가 없이 파이썬 컴파일러가 타입을 유추한다. 하지만 데이터 타입 추론은 느린 연산이므로 파이썬의 속도를 떨어뜨리는 데에 한몫한다. 사이썬에서는 프로그램을 개발하는 프로그래머가 데이터 타입을 반드시 지정하도록 함으로써 이 문제를 해결했다. 컴파일러가 이 정보를 갖고 있으면 훨씬 빠르게 동작할 수 있다.


넘엑스퍼(Numexpr)

 : 인메모리 패키지에 NumPy가 있다면 빅데이터 패키지의 핵심에는 Numexpr가 있다. Numexpr는 NumPy의 숫자 표현식 평가이지만, 원래의 NumPy보다 몇 배나 빠르다. 표현식을 재작성하고 내부의 JIT(just-in-time) 컴파일러를 사용함으로써 높은 성능을 낸다.


넘바(Numba)

 : Numba는 코드를 실행 직전에 컴파일하는 JIT 컴파일 기법을 이용해 속도를 향상시킨다. 고수준 코드를 작성하면서도 C 코드처럼 빠른 속도를 얻을 수 있다. Numba의 사용법은 직관적이다.


비칼즈(Bcolz)

 : Bcolz는 NumPy를 사용할 때 일어날 수 있는 메모리 부족 문제를 극복하도록 돕는다. Bcolz는 최적화된 압축 형태의 배열에 저장해 작업할 수 있다. 데이터를 슬림하게 만들뿐 아니라 후면에서 Numexpr를 사용해 bcolz 배열을 가지고 계산을 수행할 때 필요한 계산을 줄인다.


블레이즈(Blaze)

 : '파이썬 다운 방식'으로 데이터베이스 후단부(back-end)를 다루고 싶다면 Blaze가 제격이다. 파이썬 코드를 SQL로 번역해줄 뿐만 아니라 관계형 데이터베이스 외에도 CSV나 스파크와 같은 것을 다룰 수도 있다. Blaze를 사용함으로써 여러 데이터베이스와 데이터 라이브러리를 일관적인 방식으로 다룰 수 있다. Blaze는 지금도 개발되고 있어서 모든 기능이 구현되지는 않았다.


테아노(Theano)

 : 테아노는 그래픽 처리 장치를 가지고 직접 작업할 수 있게 해주고 , 수식을 단순화하며, 훌륭한 JIT 컴파일러를 내장하고 있다. 그러한 바탕 위에서 유용한 고등 수학 개념인 텐서를 다루는 훌륭한 라이브러리다.


다스크(Dask)

 : Dask는 계산의 흐름을 최적화하고 효율적으로 수행시킨다. 계산을 분배할 수도 있다.



출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지

출처: http://abc2080.tistory.com/entry/파이썬을-이용한-머신러닝-관련-패키지 [Another Windows]

출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지


저작자표시

'Programming > Python' 카테고리의 다른 글

python-3.7.1 설치 및 환경 구축  (0) 2018.10.21
[에러] name 'xrange' is not defined  (0) 2018.07.23
windows 10 python 2.7.15 설치  (0) 2018.07.03
[에러] Command "/usr/bin/python3 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-uy211_p4/pyodbc/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" ins..  (0) 2018.01.24
Python 으로 MySQL 에 접속  (0) 2017.11.27


아나콘다 주피터 노트북을 사용 시 아래와 같이 해당 패키지 라이브러리를 찾을 수 없다는 메세지가 출력될 경우

1
2
3
4
5
6
7
8
9
10
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-1-a4dce0c7ec11> in <module>()
      1 import dask.array as da
----> 2 import bcolz as bc
      3 import numpy as np
      4 import dask
      5 
 
ModuleNotFoundError: No module named 'bcolz'
 
cs


아나콘다 프롬프트를 실행시킨 후 다음과 같이 해당 모듈을 찾아서 설치를 진행합니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
(base) C:\Users\Admin>conda install -c anaconda bcolz
Solving environment: done
 
## Package Plan ##
 
  environment location: C:\Users\Admin\Anaconda3
 
  added / updated specs:
    - bcolz
 
 
The following packages will be downloaded:
 
    package                    |            build
    ---------------------------|-----------------
    bcolz-1.2.1                |   py36h830ac7b_0         516 KB  anaconda
    openssl-1.0.2o             |       h8ea7d77_0         5.4 MB  anaconda
    certifi-2018.4.16          |           py36_0         143 KB  anaconda
    conda-4.5.4                |           py36_0         1.0 MB  anaconda
    ca-certificates-2018.03.07 |                0         155 KB  anaconda
    ------------------------------------------------------------
                                           Total:         7.2 MB
 
The following NEW packages will be INSTALLED:
 
    bcolz:           1.2.1-py36h830ac7b_0 anaconda
 
The following packages will be UPDATED:
 
    ca-certificates: 2018.03.07-0                  --> 2018.03.07-0      anaconda
    certifi:         2018.4.16-py36_0              --> 2018.4.16-py36_0  anaconda
    conda:           4.5.4-py36_0                  --> 4.5.4-py36_0      anaconda
    openssl:         1.0.2o-h8ea7d77_0             --> 1.0.2o-h8ea7d77_0 anaconda
 
Proceed ([y]/n)? y
 
 
Downloading and Extracting Packages
bcolz-1.2.1          |  516 KB | ############################################################################## | 100%
openssl-1.0.2o       |  5.4 MB | ############################################################################## | 100%
certifi-2018.4.16    |  143 KB | ############################################################################## | 100%
conda-4.5.4          |  1.0 MB | ############################################################################## | 100%
ca-certificates-2018 |  155 KB | ############################################################################## | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
 
(base) C:\Users\Admin>
 
cs


저작자표시

'Tools > Anaconda' 카테고리의 다른 글

tensorflow 설치  (0) 2018.07.19
[에러] ModuleNotFoundError: No module named 'pymysql'  (4) 2018.07.03




저작자표시

'도서 > 국내 도서' 카테고리의 다른 글

텐서플로 入門  (0) 2018.07.18
프로그래밍 면접 이렇게 준비한다  (0) 2018.07.03
파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지  (0) 2018.06.28
모든 순간이 너였다  (0) 2018.06.28
문제해결과 컴퓨팅 사고  (0) 2018.06.26


1. 메모리 용량에 맞는 데이터를 처리하기 위한 패키지

SciPy(사이파이)

 : 사이파이는 NumPy, matplotlib, Pandas, SymPy와 같이 과학 컴퓨팅에 자주 사용되는 기초적인 패키지를 통합한 라이브러리


Numpy(넘파이)

 : 강력한 배열 함수와 선형 대수 함수를 제공


Matplotlib(맷플롯립)

 : 2차원 시각화 작성 패키지, 3차원 시각화 작성 기능도 일부 제공


Pandas(판다스)

 : 고성능을 내면서도 사용하기 쉬운 데이터 처리 패키지. 인 메모리 데이터 테이블인 데이터프레임을 파이썬에서 사용 가능.


SymPy(심파이)

 : 기호 수학 및 컴퓨터 대수에 사용되는 패키지


StatsModels(스탯모델)

 : 통계적 기법과 알고리즘을 위한 패키지


Scikit-learn(사이킷런)

 : 머신러닝 알고리즘 라이브러리


RPy2(알파이투)

 : 파이썬에서 R 함수를 호출 가능케 함


Natural Language Toolkit, NLTK(엔엘티케이)

 : 텍스트 분석에 초점을 맞춘 파이썬 라이브러리


2. 최적화 작업

Numba(넘바)와 NumbaPro(넘바프로)

 : 애플리케이션의 속도를 높이기 위해 파이썬과 몇 가지 어노테이션으로 작성된 just-in-time 컴파일을 사용, NumbaPro는 GPU의 능력을 활용

출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지

출처: http://abc2080.tistory.com/ [Another Windows]
출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지

출처: http://abc2080.tistory.com/ [Another Windows]


PyCUDA(파이쿠다)

 : CPU 대신 GPU에서 실행되는 코드를 작성할 수 있어 계산량이 많은 애플리케이션에서 사용하기 적합. 병렬화된, 컴퓨팅 사이클의 수에 비해 적은 입력을 필요로 하는 문제에 가장 적합.


Cython(사이썬), 즉 C for Python(파이썬용 C)

 : C 프로그래밍 언어를 파이썬에 도입.


Blaze(블레이즈)

 : 컴퓨터의 주기억 장치보다 더 큰 데이터 구조를 제공해 대규모 데이터셋으로 작업 가능케 함.


Dispy(디스파이)와 IPCluster(아이피클러스터)

 : 컴퓨터의 클러스터에 분배되는 코드를 작성토록 함


PP(피피)

 : 파이썬은 기본적으로 단일 프로세스로 실행됨. 단일 머신에서 병렬 컴퓨팅을 구현


Pydoop(파이둡) 및 Hadoopy(하두파이)

 : 파이썬과 빅데이터 프레임워크인 하둡을 연결해 줌


PySpark(파이스파크)

 : 인 메모리 빅데이터 프레임워크인 스파크를 파이썬에서 사용토록 연결해 줌


출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지

출처: http://abc2080.tistory.com/ [Another Windows]


출처: 파이썬으로 배우는 데이터 과학 입문과 실습 소규모 데이터셋 처리부터 빅데이터 처리, 머신러닝, 시각화까지


저작자표시

'Data Science' 카테고리의 다른 글

세미 랜덤 데이터에 대해 k 최근접 이웃 분류를 실행  (0) 2018.06.29
세미 랜덤(semi-random) 데이터에 대한 선형 예측 모델  (0) 2018.06.29

+ Recent posts

티스토리툴바