最近看了《Better PHP Development》一书，里面第6章专门讲了crontab使用指南，事无巨细，几乎涉及到crontab用法的方方面面。一直以为以为自己对crontab用法非常熟悉了，看完之后才发现有些地方之前确实不知道。现把书中重要内容记录到博客中，以便后续查阅。

Cron简介

cron是类Unix操作系统中基于时间的作业调度器，它会在未来某个时刻触发某些任务。这个名字源于希腊语“χρόνος”( chronos )，意思是时间。由于crontab命令是使用cron时候最常用的命令，所以我们通常会说crontab，其实也就是cron。

如果我们查看/etc目录，我们可以看到cron.hourly, cron.daily, cron.weekly 和cron.monthly这样的目录，每个目录都对应于特定的执行频率。比如cron.hourly目录下面的脚本会按照每小时来执行。安排任务的一种方式是将脚本放在相对应的目录中。例如，为了每天运行db_backup.php，我们将它放在cron.daily中。若没有这个目录，我们需要手动创建cron.daily。

阅读更多

原文地址：Comprehensive Introduction to Apache Spark, RDDs & Dataframes (using PySpark)

Introduction

Industry estimates that we are creating more than 2.5 Quintillion bytes of data every year.

Think of it for a moment – 1 Qunitillion = 1 Million Billion! Can you imagine how many drives / CDs / Blue-ray DVDs would be required to store them? It is difficult to imagine this scale of data generation even as a data science professional. While this pace of data generation is very exciting, it has created entirely new set of challenges and has forced us to find new ways to handle Big Huge data effectively.

阅读更多

原文地址：Using PySpark to perform Transformations and Actions on RDD

Introduction

In my previous article, I introduced you to the basics of Apache Spark, different data representations (RDD / DataFrame / Dataset) and basics of operations (Transformation and Action). We even solved a machine learning problem from one of our past hackathons. In this article, I will continue from the place I left in my previous article. I will focus on manipulating RDD in PySpark by applying operations (Transformation and Actions).

As you would remember, a RDD (Resilient Distributed Database) is a collection of elements, that can be divided across multiple nodes in a cluster to run parallel processing. It is also a fault tolerant collection of elements, which means it can automatically recover from failures. RDD is immutable, i.e. once created, we can not change a RDD. So, then how do I apply operations on a RDD? Well, we apply an operation and store results in another RDD

For this article, one must have some understanding about Apache Spark and hands on experience in python programming.

Table of Contents

1. Recap
2. What is Transformation and Action?
   • Transformation and Action
   • Major Categories
3. Applying Transformation and Action
   • General
   • Mathematical and Statistical
   • Set Theory and Relational
   • Data-structure and IO

阅读更多

Pandas作为python的库，包含易于使用的数据结构，是一个强大数据分析的工具

Pandas的主要数据结构有Series和DataFrame。Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的一组标签组成。DataFrame是一个表格型数据结构，它含有一组有序的列，每列可以是不同的值类型。

1
2
3

import pandas as pd
import numpy as np
from pandas import Series, DataFrame

阅读更多

使用ssh连接服务器，有时候我们需要使用代理来连接目标服务器。这时候有两个方法可以达到这个目的：

1. 使用ssh的ProxyCommand选项
2. 使用xshell代理

1. 配置ProxyCommand选项

ssh可以通过使用ProxyCommand设置代理

1

ssh root@192.168.33.10 -o "ProxyCommand=nc -X connect -x 127.0.0.1:10080 %h %p"

其中192.168.33.10是目的服务器ip，%h表示目标地址即192.168.33.10，%p表示目标地址端口,默认22

阅读更多

在PHP开发中，由于编码bug或者配置不正确，如果被恶意利用往往会导致严重安全问题。根据OWASP Top 10 2017里面的10大安全风险，现归纳总结了PHP项目中几种常见安全风险，攻击场景和防范措施。

1. 注入-Injection

• 一般指不受信任的数据被伪装成命令或者查询语句的一部分，发送至解析器后发生了执行的过程。
• 攻击者的恶意数据能够欺骗解释器在未被授权的情况下执行非预期代码或者访问数据。
• 常见注入类型有SQL、NoSQL、OS命令、XML等注入

案例场景

例1. 用户输入的数据直接用于SQL查询语句中

1

$sql = 'select * from news where id="' . $_GET['id']  . '"'

攻击方式：

1

http://example.com/news?id=" or 1='1

阅读更多

原文地址：10 Common Software Architectural Patterns in a nutshell

是否曾经好奇过大型企业系统是如何设计的？在主要软件开发之前，我们需要选择合适的架构，为我们提供所需的功能和质量属性。因为，在我们应用架构到我们的设计中之前，我们应该了解不同的架构

什么是架构模式？

架构模式是对给定上下文中软件架构中常见问题的通用、可重用的解决方案。架构模式类似于软件设计模式，但范围更广。

阅读更多

在PHP开发过程中，错误和异常的处理是必不可少的，但由于两者比较相似，容易让人混淆。错误往往是自身问题，比如语法错误，使用未定的变量等，而异常是在程序运行过程中存在逻辑问题时候主动抛出的。

阅读更多

原文地址：How to Build 12 Factor Microservices on Docker

原文由两部分构成，我和并处理了，并去掉原先两部分中间过渡的引语。文章有删减处理，有些地方确实拿捏不准，翻译可能南辕北辙，望见谅。最后感谢Google 翻译，完成了90%的翻译

随着企业持续从云计算上获得节约成本的好处，Devops团队正逐渐把他们的基础架构迁移到自服务平台。如何将应用设计成云原生和反脆弱成了至关重要的工作。在接下里的一系列文章里面，我们将研究用于应用设计的12要素方法论，以及怎样设计接口来和大部分流行的Pass提供者交互，以及演示怎么在Deis PaaS上运行一个微服务

由Netfix和Heroku等创新者的引领下，面向服务架构的数据中心正意识到在云上采用微服务的巨大潜力。Netfix是无可争议的第一个设计出可伸缩和反脆弱的应用，也就是有意引入chaos到他们的系统，他们的应用在面对错误时候变得更加稳定、弹性、优雅。同样通过帮助成千上万的客户在云上构建应用，Heroku提出一系列通用原则并将它描述成12要素方法论

阅读更多

查找php.ini文件所在路径几种方法：

1. 内置函数

phpinfo

phpinfo输出PHP当前状态的大量信息，包含了编译选项、启用的扩展、PHP 版本、服务器信息和环境变量（如果编译为一个模块的话）、PHP环境变量、操作系统版本信息、path 变量、配置选项的本地值和主值、HTTP 头和PHP授权信息(License)。包含所有 EGPCS(Environment, GET, POST, Cookie, Server) 数据

阅读更多