supervisor启动项目找不到环境变量的问题

找不到已经在/etc/profile里配置好的环境变量

我这里遇到的是，使用supervisor启动es的时候，没有找到JAVA_HOME，而直接使用命令启动es是可以的，说明是supervisor的配置问题，解决办法如下：
打开对应的supervisor启动的项目配置文件(一般是在supervisor目录下的profile文件夹内),

[program:xxx]
environment=JAVA_HOME="/xxxxx/jdkxxxx"

全文 >>

同步mysql从库数据到elasticsearch

A>B>C

A为主库

B为从库

C为ES

编辑从服务器的配置文件：/etc/my.cnf

B服务器除了需要打开log-bin之外，还需要打开log-slave-updates选项，你可以再B上使用“show variables like ‘log%’;”来确认是否已经生效。

binlog_fomat=row #为了使用mysql→es同步工具

编辑从服务器的配置文件：/etc/my.cnf

安装go

cd /www/server
wget https://golang.google.cn/dl/go1.15.2.linux-amd64.tar.gz
tar -zxvf go1.15.2.linux-amd64.tar.gz

配置环境变量 vi /etc/profile

vim /etc/profile
#文件追加

export GOROOT=/www/server/go
export GOPATH=/www/server/gohome 
export PATH=$PATH:/www/server/go/bin

#执行source 
 source /etc/profile

go-mysql-elasticsearch安装

#安装依赖包
yum -y install gettext-devel openssl-devel perl-CPAN perl-devel zlib-devel
#安装git
yum -y install git

go env -w GOPROXY=https://goproxy.cn
go get github.com/siddontang/go-mysql-elasticsearch

**#进入目录执行安装
cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch

make
#如果提示入下
GO111MODULE=on go build -o bin/go-mysql-elasticsearch ./cmd/go-mysql-elasticsearch
则执行入下命令

#配置river.toml

#mysql 配置
my_addr = "127.0.0.1:3306"
my_user = "root"
my_pass = "112233@"

# Elasticsearch
es_addr = "127.0.0.1:9212"

# 存儲数据的位置
data_dir = "/var"

# Inner Http status address
stat_addr = "127.0.0.1:12800"
stat_path = "/es"

# 数据源配置
# 以slave模式工作
server_id =  10001
# mysql/mariadb
flavor = "mysql"

#mysqldump 路径, 如果为空或者未设置,会跳过这一环节
mysqldump = "mysqldump"
bulk_size = 128
flush_bulk_time = "200ms"
skip_no_pk_table = false

#mysql 数据源
[[source]]
#数据库名称
schema = "test_es"
#数据表同步范围,支持通配符
tables = ["orders"]

#规则定义
[[rule]]
#数据库名称
schema = "test_es"

#规则对应的数据表,支持通配符
table = "orders"
# 目标 ES 索引
index = "orders"

type = "orders_db"**

部分问题解决参考:
https://github.com/siddontang/go-mysql-elasticsearch/issues/375

全文 >>

elasticsearch安装

下载安装包

下载es对应版本

https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-6-16

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.16.tar.gz

若下载速度太慢，可以本机先下载,然后传到服务器

下载es版本对应所需要的jdk

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

创建用户及用户组

groupadd elasticsearch #创建组

useradd elasticsearch -g elasticsearch #创建组内用户

echo 'es@2021' | passwd --stdin elasticsearch #设置密码

更改elasticsearch目录归属

chown -R elasticsearch:elasticsearch /www/server/elasticsearch-5.6.16/ #修改es所在目录归属

启动es

cd /www/server/elasticsearch-5.6.16/bin
su elasticsearch
./elasticsearch #前台启动

当看到下面的信息，代表已经启动成功了

[2021-01-15T10:15:08,736][INFO ][o.e.n.Node               ] [] initializing ...
[2021-01-15T10:15:08,843][INFO ][o.e.e.NodeEnvironment    ] [6AHM08F] using [1] data paths, mounts [[/ (/dev/vda1)]], net usable_space [33.1gb], net total_space [39.9gb], spins? [possibly], types [xfs]
[2021-01-15T10:15:08,844][INFO ][o.e.e.NodeEnvironment    ] [6AHM08F] heap size [1.9gb], compressed ordinary object pointers [true]
[2021-01-15T10:15:08,846][INFO ][o.e.n.Node               ] node name [6AHM08F] derived from node ID [6AHM08FVRU-qkI6ylnKFVg]; set [node.name] to override
[2021-01-15T10:15:08,847][INFO ][o.e.n.Node               ] version[5.6.16], pid[70030], build[3a740d1/2019-03-13T15:33:36.565Z], OS[Linux/4.18.0-240.1.1.el8_3.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_271/25.271-b09]
[2021-01-15T10:15:08,847][INFO ][o.e.n.Node               ] JVM arguments [-Xms2g, -Xmx2g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -Djdk.io.permissionsUseCanonicalPath=true, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j.skipJansi=true, -XX:+HeapDumpOnOutOfMemoryError, -Des.path.home=/www/server/elasticsearch-5.6.16]
[2021-01-15T10:15:10,241][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [aggs-matrix-stats]
[2021-01-15T10:15:10,241][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [ingest-common]
[2021-01-15T10:15:10,241][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [lang-expression]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [lang-groovy]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [lang-mustache]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [lang-painless]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [parent-join]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [percolator]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [reindex]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [transport-netty3]
[2021-01-15T10:15:10,242][INFO ][o.e.p.PluginsService     ] [6AHM08F] loaded module [transport-netty4]
[2021-01-15T10:15:10,243][INFO ][o.e.p.PluginsService     ] [6AHM08F] no plugins loaded
[2021-01-15T10:15:12,762][INFO ][o.e.d.DiscoveryModule    ] [6AHM08F] using discovery type [zen]

然后可以通过curl命令测试，如果返回如下信息 代表安装成功

[root@iZm5e7nt1pesg4anvl50gqZ ~]# curl http://localhost:9200
{
  "name" : "6AHM08F",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "xuOscDPPRdi9DnM7aMH_oA",
  "version" : {
    "number" : "5.6.16",
    "build_hash" : "3a740d1",
    "build_date" : "2019-03-13T15:33:36.565Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
}

全文 >>

Kibana安装

下载

Kibana官方下载地址：https://www.elastic.co/cn/downloads/past-releases/#kibana

根据ElasticSearch版本及安装环境下载相应的Kibana安装包。一般来说kibana版本号和对应es版本号一致即可，这里我es使用的是5.6.16，kibana也选的是5.6.16,选好对应版本后复制链接地址

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.16-linux-x86_64.tar.gz

安装及配置

解压之后到安装目录下的config下，编辑kibana.yml配置文件，添加如下配置：

#配置本机ip
server.host: "127.0.0.1"
#配置es集群url
elasticsearch.url: "http://127.0.0.1:9200"
#kibana端口
server.port: 5601

全文 >>

Mysql主从配置

MySQL主从复制原理：

我们在MySQL中配置了主从之后，只要我们对Master节点进行了写操作，这个操作将会被保存到MySQL的binary-log（bin-log）日志当中，当slave连接到master的时候，master机器会为slave开启binlog dump线程。当master 的 binlog发生变化的时候，Master的dump线程会通知slave，并将相应的binlog内容发送给Slave。而Slave节点在主从同步开启的时候，会创建两个线程，一个I/O线程，一个SQL线程。

I/O线程：该线程链接到master机器，master机器的binlog发送到slave的时候，IO线程会将该日志内容写在本地的中继日志（Relay log）中。SQL线程：该线程读取中继日志中的内容，并且根据中继日志中的内容对Slave数据库做相应的操作。可能造成的问题：在写请求相当多的情况下，可能会造成Slave数据和Master数据不一致的情况，这是因为日志传输过程中的短暂延迟、或者写命令较多，系统速度不匹配造成的。这大致就是MySQL主从同步的原理，真正在其中起到作用的实际上就是这两个日志文件，binlog和中继日志（Relay log）。

准备工作：

  • 主mysql实例A
  • 从mysql实例B
  • 尽量保证两个实例在同一内网，且数据库版本一致

主库master配置修改：

  • 找到主库mysql所在目录的配置文件my.cnf(或者my.ini) 一般在**/etc/my.cnf** 或者**/etc/mysql/my.cnf**修改配置项
[mysqld]
server-id = 100 #唯一标识 用一整数表示即可
log-bin = mysql-bin #开启binlog日志
  • 重启mysql,为从库同步主库创建一个用户
mysql -u root -p
mysql> CREATE USER 'slave1'@'10.0.0.123' IDENTIFIED BY 'slavepassword';#创建用户
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'10.0.0.123';#主从复制 授权权限
mysql> flush PRIVILEGES; #刷新权限
  • 进行锁表(保证数据一致性，加只读锁)
mysql> flush tables with read lock;
  • 查看master状态 记录二进制文件名以及POS(例如我这边是msql-bin.000025 637)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000025 |      637 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
  • 导出数据
mysqldump -uroot -p --master-data=1 --single-transaction --routines --triggers --events --all-databases > all.sql
  • 解锁主库
unlock tables;
  • 从库全量导入sql数据，保证和主库数据一致

从库slave配置修改

  • 修改server-id
[mysqld]
server-id=200 #设置server-id 必须唯一
  • 重启mysql，打开mysql命令行，执行命令连接master
mysql> CHANGE MASTER TO
    -> MASTER_HOST='10.0.0.199',
    -> MASTER_USER='slave1',
    -> MASTER_PASSWORD='slavepassword',
    -> MASTER_LOG_FILE='mysql-bin.000025',
    -> MASTER_LOG_POS=637;
  • 启动slave同步进程
mysql> start slave;
  • 查看slave状态
mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.0.0.199
                  Master_User: slave1
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000025
          Read_Master_Log_Pos: 637
               Relay_Log_File: centos7-relay-bin.000002
                Relay_Log_Pos: 800
        Relay_Master_Log_File: mysql-bin.000025
             **Slave_IO_Running: Yes
            Slave_SQL_Running: Yes**
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 637
              Relay_Log_Space: 975
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 100
                  Master_UUID: 29c8d5f8-2dfe-11eb-996f-0800276c3e95
             Master_Info_File: /www/server/data/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
1 row in set (0.00 sec)

当 ****Slave_IO_Running 和 Slave_SQL_Running:都为Yes表示同步设置成功，此时可以在主库修改数据，来看从库是否变更

如果想观察日志都记录了什么咱们可以直接查询对应日志:

#主库binlog查看 在主库mysql命令行执行如下
show binlog events in  'mysql-bin.000025'; # 后面这个文件名称是文章前面提到查询出来的

#从库relaylog查看 在从库mysql命令行执行如下
show relaylog events in 'centos7-relay-bin.000002'

相关参考链接：

全文 >>

beego框架使用问题汇总

执行go get github.com/beego/bee安装过程中报错

package golang.org/x/sys/unix: unrecognized import path "golang.org/x/sys/unix" (https fetch: Get https://golang.org/x/sys/unix?go-get=1: dial tcp 216.239.37.1:443: i/o timeout)
  • 说明被墙
cd ~/go/src
mkdir -p golang.org/x
cd golang.org/x
git clone https://github.com/golang/sys.git
vim /etc/profile

在最后一行添加

export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin

wq保存退出后source一下

source /etc/profile

执行go version，如果现实版本号，则Go环境安装成

全文 >>

linux下安装go语言环境

安装Go环境

go语言中文网：https://studygolang.com/dl

打开官网下载地址选择对应的系统版本, 复制下载链接
这里我选择的是
go1.15.2.linux-amd64：https://dl.google.com/go/go1.15.2.linux-amd64.tar.gz

wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

下载完成

执行tar解压到/usr/loacl目录下，得到go文件夹

tar -C /usr/local -zxvf  go1.15.2.linux-amd64.tar.gz

添加/usr/loacl/go/bin目录到PATH变量中。添加到/etc/profile 

vim /etc/profile

在最后一行添加

export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin

wq保存退出后source一下

source /etc/profile

执行go version，如果现实版本号，则Go环境安装成

全文 >>

linux下walle开机启动服务配置

默认当前已经安装好walle(一个发布系统,http://www.walle-web.io/)

我使用的是centos,进入/etc/init.d/目录下,创建开机脚本walle

vi /etc/init.d/walle

内容如下

#!/bin/bash
# chkconfig: 2345 55 25
# description: walle Service
cd /www/publishing_system/
sh admin.sh start

添加权限

chmod 755 walle

其中2345是默认启动级别，级别有0-6共7个级别。
　　等级0表示：表示关机 　　
　　等级1表示：单用户模式 　　
　　等级2表示：无网络连接的多用户命令行模式 　　
　　等级3表示：有网络连接的多用户命令行模式 　　
　　等级4表示：不可用 　　
　　等级5表示：带图形界面的多用户模式 　　
　　等级6表示：重新启动
55是启动优先级，25是停止优先级，优先级范围是0－100，数字越大，优先级越低。
chkconfig命令可以参考：https://www.runoob.com/linux/linux-comm-chkconfig.html

添加脚本到开机自动启动项目中

chkconfig --add walle
chkconfig walle on

可以通过命令查看是否已添加成功

chkconfig --list

全文 >>

Linux虚拟机网卡配置

查看网卡当前ip,以及要修改的网卡名称

ifconfig

linux虚拟机网卡信息

进入目录/etc/sysconfig/network-scripts/,ls查看找到你要修改的网卡名称

linux虚拟机网卡信息

cd /etc/sysconfig/network-scripts/
vi ifcfg-xxx(根据你要修改的网卡名称查找)

linux虚拟机网卡信息

修改完成保存后 进行重启网卡配置

service network restart

linux虚拟机网卡信息

全文 >>

测试环境nginx设置ip白名单

背景

在我们开发项目的过程中一般来说会有测试环境和生产环境,部署体系再完备一点的可能还有beta环境和stage环境。一般来说，测试环境中debug是开启的，测试的时候有可能暴露出很多比较重要的信息,一旦被搞破坏的人知道了测试链接地址，那么测试环境相对不太安全。所以在测试环境我们要开启ip白名单,只有通过公司的内网，或内部服务器进行访问才可以。这样的话，一下子降低了很大的外部风险。

疑问

这时可能有人会问，那现在需要在家办公修复一个bug或者比较紧急的项目开发怎么办，难道要给每个开发家里的ip加白名单吗，这种情况最简单的方式是在公司内网做个vpn服务,通过vpn连接公司内网来进行开发工作。

具体操作

一般来说,nginx的配置文件,nginx.conf通过include引入某一文件夹下的所有以.conf结尾的配置文件 include /www/server/panel/vhost/nginx/*.conf;

  • 打开当前项目对应的ng配置 xx.conf
  • 配置一下内容
    allow xxx.xxx.xxx.xx;
    allow xxx.xxx.xxx.xx;
    deny  all;

如果有伪静态存在 放在一起即可

  • 配置完成如下

nginx配置白名单

相关配置命令

  • 白名单设置，所有目录统一规则(这样就不用放在location里面了)


    allow 123.34.22.155;
    deny  all;

  • 黑名单设置，根目录限制 

    location / {
                    deny 123.34.22.155;
    }

  • 特定目录访问限制

    location /tree/list {
                    allow 123.34.22.155;
                    deny  all;
    }

全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true