Finology 大数据金融

通过大数据以量化金融

发表于 更新于 阅读次数： Waline：

今天在npm install前端代码时，下载速度非常慢，要下载的东西下载不下来。

1
2
Downloading binary from https://github.com/sass/node-sass/releases/download/v4.7.2/darwin-x64-64_bin

还遇到如下错误：

1
2
ERROR in ./~/css-loader?sourceMap!./~/resolve-url-loader?sourceMap!./~/sass-loader?sourceMap!./src/directives/plan-task/index.scss
    Module build failed: Error: Cannot find module 'node-sass'

所以得考虑把npm的源换到国内，换成淘宝的镜像，命令如下：

1
npm config set registry https://registry.npm.taobao.org

设置成功后，可以查看目前系统使用的源

1
2
npm config get registry
https://registry.npm.taobao.org/

像之前遇到的问题Cannot find module ‘node-sass’，我们可以再次执行npm install node-sass安装。

如果不想使用淘宝源了，可以还原回去。

1
2
3
npm config delete registry
npm config delete disturl

或者 

1
npm config edit

找到淘宝那两行，删除即可。

发表于 更新于 分类于 ， 阅读次数： Waline：

下载MongoDB

从官网下载MongoDB Mac版本，下载地址： https://www.mongodb.com/download-center/community?jmp=docs

1
2
cd /usr/local/mongodb
sudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-ssl-x86_64-4.0.3.tgz

解压到/usr/local

1
sudo tar -zxvf mongodb-osx-ssl-x86_64-4.0.3.tgz

创建数据库存储目录

默认目录是/data/db，并把权限授予给用户simon

如果数据库目录不是/data/db，可以通过 –dbpath 来指定。

1
2
sudo mkdir -p /data/db
sudo chown -R simon /data

启动mongodb

1
sudo bin/mongod

进入客户端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
$ mongo
MongoDB shell version v4.0.2
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 4.0.2
Server has startup warnings:
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten]
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten]
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] ** WARNING: This server is bound to localhost.
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          Remote systems will be unable to connect to this server.
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          Start the server with --bind_ip <address> to specify which IP
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          addresses it should serve responses from, or with --bind_ip_all to
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          bind to all interfaces. If this behavior is desired, start the
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten] **          server with --bind_ip 127.0.0.1 to disable this warning.
2018-10-25T20:07:13.893+0800 I CONTROL  [initandlisten]
---
Enable MongoDB's free cloud-based monitoring service, which will then receive and display
metrics about your deployment (disk utilization, CPU, operation statistics, etc).

The monitoring data will be available on a MongoDB website with a unique URL accessible to you
and anyone you share the URL with. MongoDB may use this information to make product
improvements and to suggest MongoDB products and deployment options to you.

To enable free monitoring, run the following command: db.enableFreeMonitoring()
To permanently disable this reminder, run the following command: db.disableFreeMonitoring()
---

> 1 + 1
2
>

可视化客户端

可以下载Robo 3T，www.robomongo.org

发表于 更新于 分类于 ， 阅读次数： Waline：

通过Navicat客户端连接Mysql数据库时，出现too many connections的提示，可以进行如下操作

登录mysql数据库

1
2
3
4
5
6
7
8
9
10
11
12
13
# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2965
Server version: 5.7.18 MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

查看连接数

1
2
3
4
5
6
7
8
mysql> show processlist;
+------+------+---------------------+--------------+---------+------+----------+------------------+
| Id   | User | Host                | db           | Command | Time | State    | Info             |
+------+------+---------------------+--------------+---------+------+----------+------------------+
| 2821 | root | 192.168.1.124:58526 | testdb       | Sleep   | 7180 |          | NULL             |
| 2822 | root | 192.168.1.124:58527 | testdb       | Sleep   | 7180 |          | NULL             |
| 2840 | root | 192.168.1.124:58741 | testdb       | Sleep   | 5790 |          | NULL             |
| 2841 | root | 192.168.1.124:58742 | testdb       | Sleep   | 5820 |          | NULL             |

将会发现有很多连接是处于Sleep状态的，这些连接是暂时没有用的，可以删除掉。如何删除请继续往下看。

查看最大连接数

1
2
3
4
5
6
7
mysql> show variables like "max_connections";
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| max_connections | 151   |
+-----------------+-------+
1 row in set (0.01 sec)

当processlist的数量大于查询到的max_connections时，就会出现too many connections的提示信息。

修改最大连接数

1
set GLOBAL max_connections=1000;

这不是一劳永逸的方法，应该要让它自动杀死那些sleep的进程。

查看关闭一个连接的等待时间，并修改

1
2
show global variables like 'wait_timeout';
set global wait_timeout=300;

修改这个数值，这里可以随意，最好控制在几分钟内。

其他待验证

set global interactive_timeout=500;
修改这个数值，表示mysql在关闭一个连接之前要等待的秒数，至此可以让mysql自动关闭那些没用的连接，但要注意的是，正在使用的连接到了时间也会被关闭，因此这个时间值要合适

批量kill之前没用的sleep连接，在网上搜索的方法对我都不奏效，因此只好使用最笨的办法，一个一个kill

select concat(‘KILL ‘,id,’;’) from information_schema.processlist where user=’root’;

先把要kill的连接id都查询出来
复制中间的kill id;内容到word文档
替换掉符号“|”和回车符（在word中查询^p即可查询到回车符）
把修改过的内容复制回终端，最后按回车执行

产生这种问题的原因是：

连接数超过了 MySQL 设置的值，与 max_connections 和 wait_timeout 都有关系。wait_timeout 的值越大，连接的空闲等待就越长，这样就会造成当前连接数越大。

解决方法：

修改MySQL配置文件/etc/my.cnf,设置成max_connections=1000,wait_timeout=5。如果没有此项设置可以自行添加，修改后重启MySQL服务即可。要不经常性报此错误，则要对服务器作整体性能优化

注：

为了防止发生too many connections时候无法登录的问题，mysql manual有如下的说明：

mysqld actually allows max_connections+1 clients to connect. The extra connection is reserved for use by accounts that have theSUPER privilege. By granting the SUPER privilege to administrators and not to normal users (who should not need it), an administrator can connect to the server and use SHOW PROCESSLIST to diagnose problems even if the maximum number of unprivileged clients are connected.

因此, 必须只赋予root用户的SUPER权限，同时所有数据库连接的帐户不能赋予SUPER权限。前面说到的报错后无法登录就是由于我们的应用程序直接配置的root用户

总结，解决问题的最终方法：

1.修改配置文件/etc/my.cnf,调整连接参数

2.检查程序代码，对于没有关闭的链接及时进行关闭

0%