worker和thread抓取

<?php
class SQLQuery extends Stackable {
        public $data;
        public function __construct($url) {
                $this->url = $url;
        }

        public function run() {
           $this->data=$this->worker->httpPost($this->url);
        }
}

class ExampleWorker extends Worker {
        public static $dbh;
        public function __construct($name) {
        }
        /*
        * The run method should just prepare the environment for the work that is coming ...
        */
        public function run(){
                //self::$dbh = new PDO('mysql:host=192.168.2.1;dbname=example','www','123456');
        }
        public function getConnection(){
                //return self::$dbh;
        }
        public function httpPost($url, $params=[]) {
            $curl = curl_init (); // 启动一个CURL会话
            curl_setopt ( $curl, CURLOPT_URL, $url ); // 要访问的地址
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYPEER, FALSE ); // 对认证证书来源的检查
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYHOST, FALSE ); // 从证书中检查SSL加密算法是否存在
            curl_setopt ( $curl, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)' ); // 模拟用户使用的浏览器
            curl_setopt($curl, CURLOPT_POST, true);
            curl_setopt ( $curl, CURLOPT_POSTFIELDS, http_build_query($params)); // Post提交的数据包
            curl_setopt ( $curl, CURLOPT_TIMEOUT, 30 ); // 设置超时限制防止死循环
            curl_setopt ( $curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
            $result = curl_exec ( $curl ); // 执行操作
            curl_close ( $curl ); // 关闭CURL会话

            $result = json_decode($result, true);
            return $result;
        }        
}

$worker = new ExampleWorker("My Worker Thread");

$work=new SQLQuery('https://www.baidu.com/home/msg/data/personalcontent?callback=jQuery110208347342888173108_1575697346913&num=8&_req_seqid=b96c44c0001993ee&sid=1444_21100_30210_20697&_=1575697346914');
$worker->stack($work);

$table1 = new SQLQuery('https://www.baidu.com/home/msg/data/personalcontent?callback=jQuery110208347342888173108_1575697346913&num=8&_req_seqid=b96c44c0001993ee&sid=1444_21100_30210_20697&_=1575697346914');
$worker->stack($table1);

$worker->start();
$worker->shutdown();
var_dump($work->data);
var_dump($table1->data);

下面是thread:

<?php
    class Myquery extends \Thread{
        public $url;
        public $arr=[];

        public function httpPost($url, $params=[]) {
            $curl = curl_init (); // 启动一个CURL会话
            curl_setopt ( $curl, CURLOPT_URL, $url ); // 要访问的地址
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYPEER, FALSE ); // 对认证证书来源的检查
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYHOST, FALSE ); // 从证书中检查SSL加密算法是否存在
            curl_setopt ( $curl, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)' ); // 模拟用户使用的浏览器
            curl_setopt($curl, CURLOPT_POST, true);
            curl_setopt ( $curl, CURLOPT_POSTFIELDS, http_build_query($params)); // Post提交的数据包
            curl_setopt ( $curl, CURLOPT_TIMEOUT, 30 ); // 设置超时限制防止死循环
            curl_setopt ( $curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
            $result = curl_exec ( $curl ); // 执行操作
            curl_close ( $curl ); // 关闭CURL会话

            $result = json_decode($result, true);
            return $result;
        }
        /**
        pthread使用注意事项2
        线程创建后,不能使用父线程的变量,诸如$GLOBALS或global等用法都无法操作父线程的全局变量

        线程类的属性不能直接进行哈希表(数组)操作,如:

        //这样是无效的
        $this->var1["hello"] = "world"; 
        //改为
        $this->var1 = ["hello"=>"world"];
        
        因为线程类属性的赋值是通过序列化实现的,其本质是存储了序列化数据。

        不能调用父线程的redis、mysql等非标量的成员变量(引用类型的对象,涉及父线程的内存空间),如果是标量就可以。

        最佳实践:为了安全起见,建议不要引用父线程的任意变量,用到的参数都通过Thread构造函数传入,可以把php线程当成轻量级的进程,不要做共享内存的操作。
        ————————————————
        版权声明:本文为CSDN博主「老鬼行帮」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
        原文链接:https://blog.csdn.net/u012386544/article/details/84563015        
        */
        public function __construct($url){
            $this->url = $url;
            //php线程内不能用这种方式赋值
            $this->arr['a']=$url;
        }
        public function run(){
            $this->arr=['t'=>$this->getCurrentThreadId(),'result'=>$this->httpPost($this->url)];
        }
    }
    function threadDemo($obj=[]){
        foreach($obj as $v){
            $v->start();
/*            if($v->start()){
                //printf("Thread #%lu says: %s by %s\n", $v->getThreadId(), $v->join(),$v->getCreatorId());
                $v->join();
                //var_dump($v->arr);b
            }*/
        } 
        foreach($obj as $v){
            $v->join();
        }         
    }
    $obj = [];
    for($i=0;$i<2;$i++){
        $obj[] = new Myquery('https://www.baidu.com/home/msg/data/personalcontent?callback=jQuery110208347342888173108_1575697346913&num=8&_req_seqid=b96c44c0001993ee&sid=1444_21100_30210_20697&_=1575697346914');        
    }

    $b = microtime(true);
    threadDemo($obj);
    $e = microtime(true);
    echo 'thread time:'.($e-$b).PHP_EOL;

差别就是操作单元不同,worker是操作的stable.而且worker不需要创建一个线程就创建上下文.

eg:

线程的数量应该控制在最少的范围之内 
pthreads提供了两种运行的模型。线程模型(Thread Model)和工作者模型(Worker Model),它们大部分功能都是一样的,内部也是差不多的,只有一个重要的区别,就是以它们的视角来看, 它们的运行单元是不一样的。 
一个线程(Thread)代表了一个解析器上下文(context)和一个运行单元(它的run方法)。 
一个工作者(Worker)代表了一个解析器上下文,它的run方法(用于配置上下文)。在工作者模型中运行单元是Stackables中的run方法。 
当程序调用了Thread::start,一个新的线程就会被创建,一个PHP解析器上下文会被初始化,然后被从原来的上下文中分离出来。然后两个上下文中的运行单元开始并发地运行。线程运行的是Thread中的run方法,至到run方法结束,该线程的上下文也会被销毁。 
当程序调用了Worker::start,一个新的线程会被创建,一个PHP解析器上下文会被以相当的方式初始化并分离,当Worker中的run方法执行完时,Workder就会开始从栈中把Stackables出栈,然后以它们入栈的顺序来运行它们。如果在栈中并没有Stackables,则Worker会等待,至到有Stackables出现。Worker会一直运行,直到Worker::shutdown被调用。如果Worker::shutdown被调用的时候,还有Stackables中栈里面,则它们会被先运行,Worker这时会先阻塞,直到shutdown可以运行。 
上下文资源可能会被不必要地浪费,你应该注意到,开启线程或工作者并不是没有代价的,有一个误解就是认为多线程总能使系统变得更快,然而并不是这样子的。只要有可能,应该更多地使用工作者模型而不是线程模型,工作者模型会减少多线程中的上下文资源的浪费(当然也并不是绝对)。

发布了64 篇原创文章 · 获赞 26 · 访问量 36万+

猜你喜欢

转载自blog.csdn.net/moliyiran/article/details/103435544
今日推荐