Quantcast
Channel: CodeSection,代码区,Python开发技术文章_教程 - CodeSec
Viewing all articles
Browse latest Browse all 9596

PyCon 上海 2016

$
0
0

内容简洁,只介绍见闻,感兴趣的需要自己去深挖。

使用python进行高效大数据工作流与任务调度

分享嘉宾是Splunk的丁来强,介绍了很多大数据的调度系统,说了很多,我只感兴趣Airbnb开源的 AirFlow ,看起来,蛮高端的。

AirFlow现在还是Apache的孵化项目,但是热度很大,GitHub上已经有3k多了,做大数据开发和应用的小伙伴们可以关注下~

用高魔的姿势调 python 程序

嘉宾是饿了么的郭浩川,介绍的是线上生产环境调试的问题。使用了下面几个工具:

gevent dtrace systemtap

经历很多实战后现在选择 systemtap ,不过这个工具有很多限制:官方的Python并没有编译到发行版中,Ubuntu使用的话需要预编译到python中。但是CentOS的python是编译进去的,所以饿了么生产使用的是CentOS系统~

双剑合壁――Python和大数据计算平台的结合

嘉宾阿里云的,主要介绍Aliyun的ODPS大数据平台ODPS,以及基于Pandas开发的适用于ODPS分布式计算的 PyODPS 。

ODPS平台提供了Jupyter插件,可以在Jupyter中交互式查询与开发,对查询结果进行分页/可视化,和DataBricks的notebook的功能类似。

最后

我是从南京赶到上海参加的,下午3点多因为主办方在现场群ppt直播,而且我感兴趣的内容基本在上午,所以就提前离开了。印象深刻的内容都介绍到上面了,这里我对AirFlow很感兴趣,但是最近事情多,不知道什么时候能抽空研究下。

blog原文链接

个人公众号,随便写写:


PyCon 上海 2016

Viewing all articles
Browse latest Browse all 9596

Trending Articles