新版 SegmentFault 系统架构

这篇文章来自于segmentfault, 很具有代表性

如果有关心SF发展同学肯定通过不少渠道了解到我们正在对它进行全站的重构,现在重构已经进入了尾声,而且内部测试也已经经过了一个阶段,所以不出意外的话,这个新版本过不了几天就会出现在大家面前了。

那么这次重构在系统上有什么进步呢?

系统架构的大大加强

在过去的一年,SF因为系统的制约发生了不少起宕机事故,有的时候甚至长达数小时之久,大大影响了用户的体验,因此在这次重构之初,我们就下决心从系统层面开始解决这一问题。

截止到2014年9月15日,大家看到的虽然还是老版本的界面,但是实际上背后已经迁移到新的系统架构上了,并且在这段时间内没有发生任何访问故障或者宕机事故,新的系统架构威力初显。

那么SF以前的系统架构是什么样子呢?我的回答是没有什么架构,因为所有的服务都放在一台服务器上,这个答案可能让很多用户大跌眼镜。

是的,受制于创办之初的资金限制,我们的网站只有一台服务器。在后期访问量逐渐增大的情况下,这台服务器状况不断,如果有一天它突然挂掉,那恢复它可就费事了。

云主机助力

对于SF这样的初创企业,自己建立数据中心显然是性价比极低的选择,但是系统架构的限制又逼迫我们不得不做出改变。幸好现在已经进入了云时代,大量的基础设施问题可以交给更专业的服务商解决。经过一系列权衡,我们最终选择了青云作为我们的云主机提供商。

  • 4 * web服务器(其中一台备用)
  • 1 * db服务器(得力于ssd和缓存的使用,目前一台db是可以满足需求的)
  • 1 * 搜索服务器
  • 1 * 缓存服务器
  • 1 * 后台服务服务器

一般工作的就是这8台服务器

更加颗粒化的系统划分

这一点在web服务器系统的设计上尤为突出,它是所有服务器中压力最大的,因此机器数量也是最多。但是每台服务器的配置却是最小的 单核1G 的实例。

这种颗粒化的划分,有以下几个好处

  1. 节约成本,如果我们一次性配置一台多核大内存的服务器,成本是很高的,而且大部分情况下性能是有浪费的。
  2. 增加可靠性,一台机器挂掉的可能性远大于多台机器同时挂掉
  3. 方便水平扩展,你可能已经注意到我设计了一台备用服务器,它平时就是挂在负载均衡节点上的,只是不需要开机(如果不开机是不会计费的),当遇到突然增加的访问量时,我们可以实时启动这台服务器,从而瞬间减轻其它节点的压力。而访问量降低后,我们又可以关掉它,降低使用成本。

bVcY9

比如上面这张图就是一次典型的流量冲击处理,在11点左右网站的访问量陡增,前端web的负载全部到顶,根据它的增长曲线,我们判断这是一次恶意抓取。需要我们在程序上做防护的同时在这期间不影响用户访问,因此我们将第四台备用服务器的配置临时调整到 4核2G,并在12点左右上线,系统负载马上恢复到了正常水平

改变代码上线模式

通常的上线流程就是直接把可发布的代码通过rsync之类的同步到线上机器。

在新版的SF中我们根据PHP的特点改变了这一模式,我们将代码打包成phar发布到服务器,每上线一次就重新打一个包,并将其文件名命名为版本号,比如14.9.5.195755.1718937340.phar。打包发布有如下好处

  1. 方便管理,只有一个文件,而且传输比以前的同步模式更加快速,并且可以避免当某些文件没有同步完用户就来访问的错误
  2. 可以回滚,回滚非常方便,在配置文件里将需要加载的包版本号改成你需要回滚的版本即可,可以快速完成灾难恢复

更加好地依赖云服务

除了我们的云主机,我们还使用了如下云服务

  1. Amazon SES,群发邮件价格便宜量又足
  2. Mailgun,目前我们的主力邮件发送服务,大家的通知提醒服务都是通过它
  3. SendCloud,备份邮件发送服务,主要用来发一些mailgun无法收到的邮件,比如QQ Mail等等
  4. 又拍云,所有的静态文件,包括用户头像和上传图片的存储
  5. NewRelic,程序性能监测

Todo

虽然我们已经达成了一个milestone,但是后面要做的事情依然很多,并且我们的后端服务能力会逐渐加强。我们后续的工作会围绕数据流的处理展开,我们也会使用更多的技术来完善我们的服务,Node.js,Go-lang,Scala,都是我们的选项。也欢迎在这方面有经验的工程师加入我们

WordPress 使用自定义fields 实例三: 添加原创和转载信息

首先参见基础文章: http://www.iamhippo.com/2015-12/260.html

此类信息其实也是可以通过插件来实现的,但是用自定义fields 能实现更好的自由度和运行速度.

实现过程:

1 添加’copyright’ 自定义meta field

2  找到模板的single-content 的需要插入的地方,插入如下代码:

<?php $custom_fields = get_post_custom_keys($post_id);
if (!in_array ('copyright', $custom_fields)) : ?>
<div class="postcopyright">
<p><strong> 声明: </strong> 本文由(<a href="<?php bloginfo('home'); ?>"> <?php the_author(); ?> </a>)原创,转载请保留本文链接: <a href="<?php the_permalink()?>" title=<?php the_title(); ?>><?php the_title(); ?></a></p>
</div>
<?php else: ?>
<?php $custom = get_post_custom($post_id);
$custom_value = $custom['copyright']; ?>
<div class="postcopyright">
<p><strong> 声明: </strong> 本文来源于 <a rel="nofollow" target="_blank" href="/go.php?url=<?php echo $custom_value[0] ?>"><?php echo $custom_value[0] ?></a> ,由(<a href="<?php bloginfo('home'); ?>"> <?php the_author(); ?> </a>) 整编。</p>
<p><strong> 本文链接: </strong><a href="<?php the_permalink()?>" title=<?php the_title(); ?>><?php the_title(); ?></a> .</p>
</div>
<?php endif; ?>

WordPress 使用自定义fields 实例二: 添加文章Meta标签(keywords /description)

首先你需要参考这篇文章来添加 自定义的field: http://www.iamhippo.com/2015-12/260.html

 然后再说下添加文章meta 标签, 其实这种功能可以使用许多的seo 插件,例如 yoast seo,all in one seo 等等来直接实现. 但是从精简wordpress 的角度考虑,也可以直接使用 自定义fields 来实现

实现过程:

  1. 自定义’description’ 和 ‘keywords’ 两个fields, 并且填入相应的值
  2. 找到你的模板的header 部分, 一般是header.php 直接添加如下代码:

 

<?php if ( is_single() ) { ?>
<meta name=”keywords” content=”<?php $key=”keywords”; echo get_post_meta($post->ID, $key, true); ?>” />
<meta name=”description” content=”<?php $key=”description”; echo get_post_meta($post->ID, $key, true); ?>” />
<?php } ?>

WordPress 使用自定义fields 实例一: 添加文章来源

其实这些东西在wordpress 的官方文档上都写的很清楚: http://codex.wordpress.org/Custom_Fields

初衷: wordpress 运行缓慢,尽量少添加插件来加快运行速度. 添加文章来源等等东西虽然可以通过插件来实现,但是能少用插件就少用插件吧.

步骤:

  1. 首先在wordpress 的后台文章编辑那里,看看是否有custome fields 这些选项,如果没有的话,点击右上角 screen options,开启custom fields
  2. 自定义几个fields, 比如说用 ‘f’ 来表示文章来源, ‘furl’来表示文章来源的连接

文章来源

 

     3. 注意的是,’f’ 和 ‘furl’ 两个meta data 被直接写入了数据库,以后你可以在其他的文章上直接使用了

     4. 编辑你的模板页面, 找到 带有content-single.php之类的页面,找到合适的地方,直接写入下面代码:

<?php
$f = get_post_meta($post->ID, ‘f’, true);
$furl = get_post_meta($post->ID, ‘furl’, true);
if($f){
echo ‘来源:’.”<a href=’$furl’ target=’blank’ rel=’nofllow’>$f</a>”;}
else echo ‘来源:’.”原创”
?>

 

Bingo! 搞定

今天不舒服。。喝点酒试试

熟悉我的人应该都知道,我本人既不抽烟也不喝酒。。。

 

但是最近实在晚上睡眠不好。。。刚才又不知道怎么回事不太舒服。。。

看到饭桌旁边自己存的那一堆啤酒和白酒。。。。遂开了一瓶super bock。。。

以前觉得很苦的酒。。现在看来也就是那样了。。。

nginx 破解静态文件防盗链

今天碰到一个国内被和谐掉的站点感到很有意思.

于是想避免每天扶梯子去登录这个站点,就想到了nginx 的 反向代理。 nginx 的反向代理平时百用百灵,可是今天死活不灵了.

查看了一下此站的源代码,发现静态文件全部使用单独的一个域名来表示,nginx 反代已经很完美的解决掉了静态部分,但是静态部分例如css, js 等等,死活也加载不出来。。查看nginx 的error 日志,发现 nginx 的 间断性的出现 502 错误,再仔细一看,nginx 说upstream 总是提早关闭TCP 链接。。。我起初以为是网络的问题,就在洛杉矶的独立服务器上拆出来一个VPS用来专门反代这个静态文件的域名,仍然出现502 错误。。。

这个时候才想到,是不是这个域名限制了referrer 来源?????

于是赶紧在nginx 的config 代码里面加上proxy_set_header Referer $host; 重启nginx, 问题圆满解决。。。

下次遇到同样问题的时候,可以先在firefox 的livehttp 的 这个扩展当中,慢慢的仔细的看一下 http response 是怎么回事,然后在nginx 的配置文件中根据情况写出相应的配置方案.

极路由装SS插件简单教程

今天给家里的两台极路由装上了SS插件,这下子就方便多了

这里简单记录下步骤,方便以后查阅:

 

  1. 开启极路由开发者模式。安装Shadowsocks插件需要开启开发者权限,如何开启请百度
  2. SSH登录极路由:ssh [email protected] -p 1022 注意:使用root帐号连接路由,端口为1022,密码为后台登陆密码,如果你没有更改IP的话,IP是192.168.199.1
  3. 便捷脚本安装SS:cd /tmp && wget http://cdn.is26.com/file/hiwifi/shadow.sh && sh shadow.sh && rm shadow.sh
  4. 如果遇到失败可以重复上一步并将地址更换为:cd /tmp && curl -k -o ss.sh http://hiwifi-10014337.file.myqcloud.com/ss.sh && sh ss.sh && rm ss.sh 换个服务器换种速度和心情,如果你的第三部已经成功,那么请无视此步。
  5. 重新登录极路由的后台,高级设置里就能看到shadowsocks加速了,填写账号密码,选择智能模式,enjoy it!

下载:ss.tar

今天犯了一个具SB的问题。。

好久没有用php了。。这两天再准备一个新的国内站点,使用php 写的。。没办法又得重新熟一遍。。。

有一个bug,debug了很久。。才突然发现,我把函数给 echo 了。。。哎。。函数什么时候可以echo。。。

我这脑子啊。。。

另外还有一个问题要注意的是,如果函数内部引用外部的变量,需要加上GLOBALS