简介

Elasticsearch是基于Apace Lunence构建的开源，分布式，具有高可用性和高拓展性的全文检索引擎。Elasticsearch具有开箱即用的特性，提供RESTful接口，是面向文档的数据库，文档存储格式为JSON，可以水平扩展至数以百计的服务器存储来实现处理PB级别的数据。

Elasticsearch可以快速存储，搜索，分析海量，索引数据速度达到毫秒级（近实时Near Real Time)。Github的代码搜索就是使用Elasticsearch来实现的。Elasticsearch使用场景有：

1. 网站全文检索，高亮搜索，搜索建议
2. 电商网站商品搜索，分面搜索(分面是指事物的多维度属性)
3. 基于用户行为的推荐系统
4. 支持到PB级别日志数据分析

阅读更多

春节期间，公司组织远程培训，请Aws讲师培训Architecting on aws，属于aws架构培训中级课程。以下内容是个人做的笔记。

Aws简介

什么是云，什么是AWS

• 可编程资源
  • IAC(基础设施作为代码)
  • PAY as you go
• 动态能力
• 按使用量付费

阅读更多

Snowflake算法(雪花算法)是由Twitter提出的一个分布式全局唯一ID生成算法，该算法生成一个64bit大小的长整数。64bit位ID结构如下：

阅读更多

前言

Pandas 是一个Python语言实现的，开源，易于使用的数据架构以及数据分析工具。在Pandas中主要有两种数据类型，可以简单的理解为：

• Series：一维数组(列表)
• DateFrame：二维数组（矩阵）

在线实验：Pandas完全指南.ipynb

学习资料：

• Pandas中文文档
• 利用Python进行数据分析·第2版

导入pandas

1
2
3

import pandas as pd
import numpy as np
from IPython.display import Image

阅读更多

TCP内核参数调优

调整全连接队列长度

TCP 建立连接时要经过 3 次握手，在客户端向服务器发起连接时，
对于服务器而言，一个完整的连接建立过程，服务器会经历 2 种 TCP 状态：SYN_REVD, ESTABELLISHED。对应也会维护两个队列：

1. 一个存放SYN的队列（半连接队列，也成SYN队列）
2. 一个存放已经完成连接的队列（全连接队列， 也称Accept队列）

当一个连接的状态是 SYN RECEIVED 时，它会被放在 SYN 队列中。
当它的状态变为 ESTABLISHED 时，它会被转移到另一个队列。应用程序只从已完成的连接的队列中获取请求。

阅读更多

简介

Lua诞生于1993年，是一种脚本语言，用C语言编写，其设计目的是为了快捷、高效嵌入到程序应用，比如Nginx服务器脚本。Redis从2.6.0版本开始内置Lua解释器，支持使用Eval命令运行Lua脚本。

在Redis中使用Lua脚本有两大特性：

1. 原子性

   Redis使用单个Lua解释器去运行所有脚本，当其在运行时，其他脚本或命令执行只能等待，这保证脚本已原子性方式运行。

2. 高性能

   Lua脚本一次可以执行多个redis命令，可以减少网络开销。对于较大脚本可以先使用SCRIPT LOAD 命令将其加载缓存中，然后使用EVALSHA运行近一步减少网络开销

阅读更多

原文：How To Manage Log Files Using Logrotate In Linux

几天前，我们发布了一份指南，介绍了如何在CentOS系统上设置集中式Rsyslog服务。今天，在本指南中，我们将了解如何在Linux上使用日志轮换来管理日志文件。该实用程序简化了日志文件的管理，尤其适用于每天生成大量日志文件的系统。顾名思义，LogRotate以固定的时间间隔将日志完全从系统中轮转出来。它还允许日志文件的自动轮转、压缩、删除和传输。每个日志文件可以每天、每周、每月或在变得太大时处理。

阅读更多

安卓应用的版本信息分为版本名和版本号两部分。版本名是语义性版本，一般格式是主版本号.次版本号.修订版本号；版本号格式是数字。

应用新版本的版本号一定要旧版本要大，因为安卓系统在安装升级应用时候，会检查应用的版本号是否大于手机内已安装的该应用的版本号，若小于则直接拒绝升级此应用。

在开发需求中，有时候会需要根据应用的版本名进行筛选应用，比如筛选版本名大于7.33.1的Netflix应用，此时若直接把每个应用的版本名索引到es里面，然后根据版本名字段range范围查询，这是有问题的。比如12.8.1版本是高于7.31.1版本的，因为在es里面是按照字符串逐字比较的，导致出现相反结果。

阅读更多

简介

Awk是Linux系统中强大的文本处理命令工具。它名字来源于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。Awk是一个工具，也是一种程序语言，类似c语言，但无需提前进行变量声明定义。一个Awk程序由一系列的模式（pattern)和动作（action)组成, 模式用于描述在输入的文本中搜索哪些数据, 当某一行文本搜索到（即匹配某个模式）之后，动作定义了如何操作该行文本。

程序格式

一个awk程序格式如下：

pattern { action }

awk的操作逻辑是扫描文本每一行, 搜索可以被模式(pattern)匹配的行， 若行能够匹配模式，则接着进行执行动作（action)。

在扫描每一行过程中，awk会自动把当前行分解为一个个的字段，默认是空格进行分割，$0表示当前行内容，$1为当前行的第一段，$2为当前行的第二段，以此类推。

阅读更多

3.0 Introduction

NGINX and NGINX Plus are also classified as web traffic control‐ lers. You can use NGINX to intellengently route traffic and control flow based on many attributes. This chapter covers NGINX’s ability to split client requests based on percentages, utilize geographical location of the clients, and control the flow of traffic in the form of rate, connection, and bandwidth limiting. As you read through this chapter, keep in mind that you can mix and match these features to enable countless possibilities.

阅读更多